fairness scheduling
fairness scheduling
Определение
Алгоритм планирования запросов, гарантирующий каждому tenant минимальную долю ресурсов (fair share) и предотвращающий голодание.
Где встречается
- 176. Какие инструменты для агентской эвалюации вы используете
- 207. Как работает scheduler в vLLM Какие алгоритмы выбора запросов
- 447. Как работает scheduler в vLLM Какие алгоритмы выбора запросов
- 498. Что такое meta-evaluation бенчмарков (оценка оценки)
- 509. Как вы сравниваете две модели, если у них разная latency (быстрая неточная vs медленная точная)
- 690. Как вы измеряете diversity синтетического датасета
- 719. Как проектировать аукцион для allocation вычислительных ресурсов между агентами
- 723. Как моделировать экономику агентов с ограниченными бюджетами на API вызовы
- 814. Как проектировать rate limiting на уровне сообщений
- 843. Что такое continuous batching и как оно влияет на throughput
- 850. Как работают inference schedulers (FCFS, Priority, Fairness)
- Практика
- 800+ вопросов