Teacher Forcing

Определение

Метод обучения последовательностных моделей, при котором на каждом шаге генерации подаётся истинный предыдущий токен вместо предсказанного, что ускоряет сходимость.

Где встречается

• 29. Как fine-tune модель для следования сложным инструкциям
• 729. Как LLM используются для code generation с формальной верификацией (Dafny, Lean)
• 56. Реализовать diffusion LLM (PLANNER)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление