Fixed window

Определение

Алгоритм rate limiting, при котором лимит запросов устанавливается на фиксированный временной интервал (например, 100 запросов в минуту). Может допускать всплески на границах окна.

Где встречается

• 65. Как вы обрабатываете rate limiting от LLM провайдеров (OpenAI, Anthropic)
• 411. Как вы проектируете backpressure в LLM serving системе

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление