Orthogonal initialization

Определение

Метод инициализации весов ортогональной матрицей, который сохраняет норму сигнала в RNN/LSTM, улучшая сходимость.

Где встречается

• 665. Как работает инициализация весов в LLM (Xavier, Kaiming, почему важна)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление