Autoregressive
Autoregressive
Определение
Свойство модели генерировать токены последовательно, где каждый следующий токен зависит от предыдущих. Это основная парадигма обучения большинства LLM.
Где встречается
- 157. Какие есть методы ускорения тест-тайм компьютинга (KV-cache, speculative decoding)
- 365. Как работает мультимодальное выравнивание (alignment) в моделях типа Chameleon (Meta)
- 655. Что такое SwiGLU и почему он лучше ReLU в LLM
- 800+ вопросов