max_tokens

Определение

Параметр LLM, задающий максимальное количество токенов в генерируемом ответе. Уменьшение этого параметра — один из способов graceful degradation при перегрузке сервера.

Где встречается

• 249. Как вы делаете load shedding при перегрузке LLM сервера

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление