concurrency

Определение

Уровень параллелизма запросов. При высоком concurrency системы, такие как vLLM, обеспечивают больший throughput.

Где встречается

• 848. Как работает динамическое бэтчирование в TGI vs vLLM

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление