max-model-len

Определение

Максимальная длина контекста модели, влияющая на потребление памяти и throughput.

Где встречается

• 61. Как вы разворачиваете LLM в production (self-hosted)
• 224. vLLM кластер на 4 GPU

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление