Pre-fill

Определение

Pre-fill — этап обработки длинного промпта, при котором KV-кэш заполняется chunks до начала генерации. LLM обрабатывает все эмбеддинги из памяти за один проход, что ускоряет последующую генерацию.

Где встречается

• 281. Что такое sliding window attention и зачем он в Mistral
• 549. Как вы проектируете систему для real-time video understanding (поток с камеры)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление