Autoregressive

Определение

Свойство модели генерировать токены последовательно, где каждый следующий токен зависит от предыдущих. Это основная парадигма обучения большинства LLM.

Где встречается

• 157. Какие есть методы ускорения тест-тайм компьютинга (KV-cache, speculative decoding)
• 365. Как работает мультимодальное выравнивание (alignment) в моделях типа Chameleon (Meta)
• 655. Что такое SwiGLU и почему он лучше ReLU в LLM
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление