dilated sliding window
dilated sliding window
Определение
Разновидность разреженного внимания с шагом (dilation) между токенами окна, позволяющая увеличить рецептивное поле без роста размера окна; используется в Longformer и других архитектурах.
Где встречается
- 281. Что такое sliding window attention и зачем он в Mistral
- 629. Как работает sliding window attention в Mistral и Longformer
- 646. Как работает attention с линейной сложностью (Linformer, Performer, Longformer)
- 800+ вопросов