English translation is not available yet. Showing Russian content.
burst
burst
Определение
Кратковременный пик запросов, превышающий мощность online-инфраструктуры. Требует механизмов rate limiting и burst allowance для обработки.
Где встречается
- 65. Как вы обрабатываете rate limiting от LLM провайдеров (OpenAI, Anthropic)
- 220. Как вы выбираете между online и batch инференсом для LLM
- 850. Как работают inference schedulers (FCFS, Priority, Fairness)
- 219. Сравнить inference schedulers (FCFS vs Priority)