token bucket

Определение

Алгоритм ограничения скорости запросов (rate limiting), позволяющий кратковременные всплески трафика за счёт накопления токенов в «ведре»; часто реализуется с Redis.

Где встречается

• 65. Как вы обрабатываете rate limiting от LLM провайдеров (OpenAI, Anthropic)
• 90. Как вы проектируете API для внешних систем, использующих вашу LLM
• 201. Что такое continuous batching и как оно отличается от static batching Как это реализовано в vLLMTGI
• 244. Как вы проектируете backpressure в LLM serving системе
• 248. Что такое rate limiting на разных уровнях (user, API key, IP, global) и как реализовать
• 249. Как вы делаете load shedding при перегрузке LLM сервера
• 411. Как вы проектируете backpressure в LLM serving системе
• 416. Как вы делаете load shedding при перегрузке LLM сервера
• 429. Что такое end-to-end backpressure в LLM пайплайне и как его реализовать
• 744. Что такое Agent Loop и какие компоненты входят в production-ready loop
• 751. Что такое Tool System в Harness (defineTool, registry, JSON schema validation, rate limiting)
• 814. Как проектировать rate limiting на уровне сообщений
• 829. Что такое rate limiting на уровне API Gateway для LLM
• 830. Как проектировать retry storm mitigation (защита от лавинных ретраев)
• 800+ вопросов
• 13. Сравнить S3 vs EBS для checkpoint'ов 70B
• 24. Настроить RED metrics для LLM
• 109. Настроить cost tracking для агента
• 180. Настроить rate limiting на сообщения
• 273. Реализовать curriculum learning

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление