Gradient Conditioning

Определение

Свойство нормализации (например, LayerNorm) делать градиенты независимыми от масштаба входных значений, улучшая обучение.

Где встречается

• 654. Как работает LayerNorm и RMSNorm В чем разница и почему RMSNorm быстрее

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление