max tokens
max tokens
Определение
Параметр генерации LLM, ограничивающий максимальное количество токенов в ответе; используется для снижения нагрузки и стоимости.
Где встречается
- 90. Как вы проектируете API для внешних систем, использующих вашу LLM
- 132. Как вы калибруете LLM-судью под человеческие оценки
- 416. Как вы делаете load shedding при перегрузке LLM сервера
- 163. Реализовать AB тестирование промптов