QoS
QoS
Определение
Метрики качества обслуживания в production LLM, включающие приоритизацию трафика и управление нагрузкой для обеспечения стабильной работы.
Где встречается
- 429. Что такое end-to-end backpressure в LLM пайплайне и как его реализовать
- 9. Профилировать network congestion на 64 GPU