residual stream
residual stream
Определение
Непрерывный вектор, проходящий через все слои трансформера, к которому каждый слой добавляет свой выход через skip connection. Служит общей магистралью информации; logit lens позволяет интерпретировать накопленные представления.
Где встречается
- 295. Что такое logit lens и как он помогает понимать внутренние представления
- 674. Что такое logit lens (интерпретация скрытых состояний)
- 676. Что такое residual stream и как он связан с информационным потоком в трансформере
- 800+ вопросов