GELU

Определение

Гладкая функция активации, аппроксимирующая ReLU, определяемая как x * Φ(x), где Φ — функция стандартного нормального распределения. Используется в трансформерах (GPT-2, GPT-3) и свёрточных слоях (Whisper) для обеспечения нелинейности.

Где встречается

• 279. Что такое SwiGLU и почему он используется вместо ReLU в современных LLM
• 363. Как работает Whisper (architecture, tokenization, training) для ASR
• 543. Как работает Whisper архитектурно для ASR (Automatic Speech Recognition)
• 655. Что такое SwiGLU и почему он лучше ReLU в LLM
• 665. Как работает инициализация весов в LLM (Xavier, Kaiming, почему важна)
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление