Затухающие градиенты

Определение

Затухающие градиенты (vanishing gradients) — это явление, при котором градиенты функции потерь становятся экспоненциально малыми по мере обратного распространения через слои глубокой сети. Особенно остро проблема проявляется в рекуррентных нейронных сетях (RNN), где длинные последовательности приводят к тому, что градиент практически исчезает, и веса перестают обновляться. Это препятствует обучению долгосрочным зависимостям в данных.

Где встречается

• 934. Как работают рекуррентные нейросети (RNN, LSTM, GRU)? Почему трансформеры их вытеснили в NLP?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление