Leaky ReLU

Определение

Вариант функции активации ReLU, допускающий небольшой ненулевой градиент для отрицательных входов, что помогает избежать проблемы «умирающих нейронов».

Где встречается

• 665. Как работает инициализация весов в LLM (Xavier, Kaiming, почему важна)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление