English translation is not available yet. Showing Russian content.
max_tokens
max_tokens
Определение
Параметр LLM, задающий максимальное количество токенов в генерируемом ответе. Уменьшение этого параметра — один из способов graceful degradation при перегрузке сервера.