Backpropagation Through Time

Определение

Backpropagation Through Time (BPTT) — алгоритм обучения рекуррентных нейронных сетей (RNN), при котором градиент ошибки распространяется обратно по временным шагам. Он применяет цепное правило к развёрнутой во времени вычислительной графе сети. Однако при обратном распространении во времени градиент может экспоненциально уменьшаться (или взрываться), что затрудняет обучение долгосрочным зависимостям.

Где встречается

• 935. В чем проблема Vanishing Gradient в RNN и как LSTM её решает?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление