Tanh function

Определение

Tanh (гиперболический тангенс) — это активационная функция, отображающая входные значения в диапазон (-1, 1). Её производная всегда ≤ 1 и часто меньше 0.25, что при многократном перемножении в цепях обратного распространения ошибки приводит к экспоненциальному затуханию градиента. Это свойство делает tanh одной из причин проблемы исчезающего градиента в рекуррентных нейронных сетях (RNN).

Где встречается

• 935. В чем проблема Vanishing Gradient в RNN и как LSTM её решает?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление