Gradient norm

Определение

Gradient norm (норма градиента) — это скалярная величина, представляющая собой евклидову норму (L2-норму) вектора градиента функции потерь по параметрам модели. Она показывает величину обновления весов на каждом шаге оптимизации и используется для диагностики обучения. Аномально малая норма градиента указывает на исчезающие градиенты, а аномально большая — на взрывающиеся градиенты.

Где встречается

• 974. Как вы логируете и отслеживаете эксперименты по fine-tuning

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление