Прямо сейчас на CVPR слушаю доклад от легендарного Tri Dao – автора Flash Attention (штука которая принесла значительные ускорения в трансформеры).