Zero init

Определение

Инициализация весов нейросети нулями, применяемая для bias-слоёв или residual-связей. В отличие от Xavier/Kaiming, используется редко из-за риска симметрии градиентов.

Где встречается

• 665. Как работает инициализация весов в LLM (Xavier, Kaiming, почему важна)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление