English translation is not available yet. Showing Russian content.
token bucket
token bucket
Определение
Алгоритм ограничения скорости запросов (rate limiting), позволяющий кратковременные всплески трафика за счёт накопления токенов в «ведре»; часто реализуется с Redis.
Где встречается
- 65. Как вы обрабатываете rate limiting от LLM провайдеров (OpenAI, Anthropic)
- 90. Как вы проектируете API для внешних систем, использующих вашу LLM
- 201. Что такое continuous batching и как оно отличается от static batching Как это реализовано в vLLMTGI
- 244. Как вы проектируете backpressure в LLM serving системе
- 248. Что такое rate limiting на разных уровнях (user, API key, IP, global) и как реализовать
- 249. Как вы делаете load shedding при перегрузке LLM сервера
- 411. Как вы проектируете backpressure в LLM serving системе
- 416. Как вы делаете load shedding при перегрузке LLM сервера
- 429. Что такое end-to-end backpressure в LLM пайплайне и как его реализовать
- 744. Что такое Agent Loop и какие компоненты входят в production-ready loop
- 751. Что такое Tool System в Harness (defineTool, registry, JSON schema validation, rate limiting)
- 814. Как проектировать rate limiting на уровне сообщений
- 829. Что такое rate limiting на уровне API Gateway для LLM
- 830. Как проектировать retry storm mitigation (защита от лавинных ретраев)
- 800+ вопросов
- 13. Сравнить S3 vs EBS для checkpoint'ов 70B
- 24. Настроить RED metrics для LLM
- 109. Настроить cost tracking для агента
- 180. Настроить rate limiting на сообщения
- 273. Реализовать curriculum learning