GLU

Определение

Слой нейронной сети с двумя линейными проекциями и поэлементным умножением через сигмоидный вентиль, динамически управляющий потоком информации. Используется в современных LLM (например, SwiGLU).

Где встречается

• 279. Что такое SwiGLU и почему он используется вместо ReLU в современных LLM
• 655. Что такое SwiGLU и почему он лучше ReLU в LLM

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление