FlashAttention-2

Определение

FlashAttention-2 — это усовершенствованная версия алгоритма FlashAttention, предназначенная для эффективного вычисления механизма внимания в трансформерах. Она использует тайлинг и перекомпоновку операций, что значительно снижает потребление памяти и ускоряет обработку длинных последовательностей за счёт более полного использования кэша GPU.

Где встречается

• 980. Как сделать fine-tuning модели на 1 млн токенов контекста (например, для анализа)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление