Waiting queue

Определение

Очередь запросов, ожидающих начала обработки, из которой scheduler берёт новые запросы для выполнения.

Где встречается

• 438. Что такое continuous batching Как реализовано в vLLM
• 447. Как работает scheduler в vLLM Какие алгоритмы выбора запросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление