Vanishing Gradient

Определение

Проблема затухающих градиентов (Vanishing Gradient) возникает при обучении глубоких нейронных сетей, особенно рекуррентных (RNN), когда градиенты ошибки становятся экспоненциально малыми при обратном распространении через многие слои или временные шаги. Это приводит к тому, что веса ранних слоёв или шагов обновляются незначительно, и сеть не может обучаться долгосрочным зависимостям. В RNN это проявляется как неспособность запоминать информацию на больших временных интервалах.

Где встречается

• 935. В чем проблема Vanishing Gradient в RNN и как LSTM её решает?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление