bounded queue

Определение

Очередь запросов с фиксированным максимальным размером, используемая для реализации backpressure; предотвращает бесконечный рост задержки при перегрузке и защищает систему от перегрузок.

Где встречается

• 244. Как вы проектируете backpressure в LLM serving системе
• 411. Как вы проектируете backpressure в LLM serving системе
• 429. Что такое end-to-end backpressure в LLM пайплайне и как его реализовать
• Практика
• 800+ вопросов
• 196. Настроить backpressure в ingestion

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление