Recurrent Neural Network

Определение

Рекуррентная нейронная сеть (RNN) — класс нейронных сетей, предназначенных для обработки последовательных данных (текст, временные ряды, аудио). В отличие от обычных сетей, RNN имеют внутреннюю память: на каждом шаге они учитывают не только текущий вход, но и скрытое состояние с предыдущего шага. Однако RNN страдает от проблемы затухания градиентов (Vanishing Gradient) при обработке длинных последовательностей: градиент ошибки экспоненциально уменьшается при обратном распространении во времени, что затрудняет обучение долгосрочным зависимостям.

Где встречается

• 935. В чем проблема Vanishing Gradient в RNN и как LSTM её решает?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление