gating
gating
Определение
Механизм управления потоком информации с помощью обучаемых вентилей (gate), реализуемый через поэлементное умножение; ключевой компонент архитектур типа GLU и SwiGLU.
Где встречается
- 279. Что такое SwiGLU и почему он используется вместо ReLU в современных LLM
- 632. Как работает Infini-attention (Google, 2024) для бесконечного контекста
- 655. Что такое SwiGLU и почему он лучше ReLU в LLM
- 714. RWKV (RNN with Transformer attention) как комбинирует RNN и attention
- 715. Hyena как заменить attention на свертки, сохранив качество
- 716. Когда SSM-архитектуры (Mamba, StripedHyena) лучше трансформеров для long context
- 800+ вопросов