Block-sparse attention

Определение

Вариант механизма внимания, использующий разреженные паттерны (например, sliding window или dilated attention) для уменьшения вычислительной сложности, часто реализуемый с помощью блоков.

Где встречается

• 667. Как работает FlashAttention математически (tiling, recomputation, не материализуя S)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление