Input compression

Определение

Сокращение длины промпта путём удаления стоп-слов или перефразирования для снижения задержки и затрат на инференс.

Где встречается

• 64. Как вы обеспечиваете низкую задержку (500ms) для LLM

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление