Hidden states
Hidden states
Определение
Hidden states (скрытые состояния) — это внутренние векторные представления, которые генерируются на каждом слое нейронной сети в процессе обработки входных данных. В контексте языковых моделей они отражают промежуточные стадии понимания текста, от низкоуровневых признаков до высокоуровневых семантических абстракций. В отличие от финальных логитов, hidden states содержат богатую информацию о внутренних закономерностях, что делает их полезными для задач дистилляции знаний.