leaky bucket
leaky bucket
Определение
Алгоритм rate limiting, в котором запросы помещаются в очередь фиксированной ёмкости и обрабатываются с постоянной скоростью, сглаживая пиковые нагрузки и предотвращая перегрузку системы.
Где встречается
- 65. Как вы обрабатываете rate limiting от LLM провайдеров (OpenAI, Anthropic)
- 248. Что такое rate limiting на разных уровнях (user, API key, IP, global) и как реализовать
- 411. Как вы проектируете backpressure в LLM serving системе
- 416. Как вы делаете load shedding при перегрузке LLM сервера
- 814. Как проектировать rate limiting на уровне сообщений
- 829. Что такое rate limiting на уровне API Gateway для LLM
- 800+ вопросов