Hidden state

Определение

Внутренний вектор состояния модели (например, в SSM или трансформере), несущий сжатое представление контекста; используется в speculative decoding (Medusa) и Test-Time Training.

Где встречается

• 456. Что такое Medusa (multiple heads) для speculative decoding
• 713. Как работает Mamba (State Space Model) и чем она лучше трансформера
• 718. Что такое Test-Time Training (TTT) слои и как они работают

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление