GLU
GLU
Определение
Слой нейронной сети с двумя линейными проекциями и поэлементным умножением через сигмоидный вентиль, динамически управляющий потоком информации. Используется в современных LLM (например, SwiGLU).
Где встречается
- 279. Что такое SwiGLU и почему он используется вместо ReLU в современных LLM
- 655. Что такое SwiGLU и почему он лучше ReLU в LLM