kernel trick
kernel trick
Определение
Аппроксимация softmax через скалярное произведение случайных признаков (например, в Performer) для реализации внимания с линейной сложностью.
Где встречается
- 632. Как работает Infini-attention (Google, 2024) для бесконечного контекста
- 646. Как работает attention с линейной сложностью (Linformer, Performer, Longformer)