Hidden state (RNN)

Определение

Скрытое состояние h_t (hidden state) в рекуррентных нейронных сетях (RNN) — это вектор, который передаётся от одного временного шага к следующему, кодируя информацию о предыдущих входных данных за счёт нелинейного преобразования (например, tanh или sigmoid). В отличие от cell state c_t в LSTM, которое может проходить через ячейку с линейными преобразованиями, h_t каждый раз обновляется через нелинейную активацию, что делает его более чувствительным к локальным изменениям и краткосрочным зависимостям.

Где встречается

• 935. В чем проблема Vanishing Gradient в RNN и как LSTM её решает?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление