Поиск

• wikiInference scheduler

  # Inference scheduler ## Определение Планировщик запросов к модели, определяет порядок обслуживания, типы: FCFS, Priority, Fairness. ## Где встречается - [[850. Как работают inference…

• wikiBatching scheduler

  # Batching scheduler ## Определение Планировщик, который группирует входящие запросы в батчи для оптимальной загрузки GPU и повышения пропускной способности. ## Где встречается…

• wikimulti-tenant

  …Как работает scheduler в vLLM Какие алгоритмы выбора запросов|207. Как работает scheduler в vLLM Какие алгоритмы выбора запросов]] - [[447…

• wikiStarvation

  …Как работает scheduler в vLLM Какие алгоритмы выбора запросов|207. Как работает scheduler в vLLM Какие алгоритмы выбора запросов]] - [[447…

• wikikube-scheduler

  # kube-scheduler ## Определение Компонент Kubernetes, отвечающий за размещение подов на узлах кластера с учётом топологии, ресурсов и политик. ## Где встречается…

• wikiWarp schedulers

  # Warp schedulers ## Определение Компоненты SM, управляющие выполнением warps; в H100 имеется 4 warp schedulers на SM. ## Где встречается - [[705. Как…

• answerКак работает scheduler в vLLM? Какие алгоритмы выбора запросов?

  …Как работает scheduler в vLLM? Какие алгоритмы выбора запросов? ## Краткий тезис [[Вики/Planner\|Scheduler]] в [[Вики/VLLM\|vLLM]] — это центральный…

• wikipriority-based scheduling

  …Как работает scheduler в vLLM Какие алгоритмы выбора запросов|207. Как работает scheduler в vLLM Какие алгоритмы выбора запросов]] - [[447…

• wikiCosine Scheduler

  # Cosine Scheduler ## Определение Планировщик скорости обучения, изменяющий learning rate по косинусному закону с warmup. Обеспечивает плавное снижение темпа, улучшая сходимость…

• wikicustom scheduler

  # custom scheduler ## Определение Пользовательский планировщик Kubernetes, реализующий topology-aware scheduling для оптимизации размещения подов. ## Где встречается - [[10. Реализовать topology-aware…

• wikipreemption

  …Как работает scheduler в vLLM Какие алгоритмы выбора запросов|207. Как работает scheduler в vLLM Какие алгоритмы выбора запросов]] - [[210…

• wikischeduler extender

  # scheduler extender ## Определение Расширение планировщика Kubernetes в виде HTTP-сервиса, проверяющего запросы GPU и топологию узлов. ## Где встречается - [[10. Реализовать…

• wikiblock

  …Как работает scheduler в vLLM Какие алгоритмы выбора запросов|207. Как работает scheduler в vLLM Какие алгоритмы выбора запросов]] - [[447…

• wikiWarp scheduler

  # Warp scheduler ## Определение Аппаратный блок на Streaming Multiprocessor (SM) GPU, который выбирает, какой warp выполнять в данный момент, и переключается…

• wikitoken-level scheduler

  # token-level scheduler ## Определение Компонент инференс-системы (например, TGI), который на каждой итерации выбирает, какие токены из активных запросов будут…

• wikiPoisson arrival

  # Poisson arrival ## Определение Статистическая модель поступления запросов с экспоненциальным распределением интервалов, используемая в симуляциях для тестирования планировщиков (scheduler). ## Где встречается…

• wikiScheduler policy

  # Scheduler policy ## Определение Правила, определяющие, какие запросы из waiting queue добавлять в running queue (например, first-come-first-served). Используется…

• wikiburst

  …Как работают inference schedulers (FCFS, Priority, Fairness)|850. Как работают inference schedulers (FCFS, Priority, Fairness)]] - [[219. Сравнить inference schedulers (FCFS…

• wikiDeficit round robin

  # Deficit round robin ## Определение Алгоритм справедливой очереди с дефицитом, используемый в inference schedulers для честного распределения ресурсов между запросами. Позволяет…

• wikiPlanner

  # Planner ## Определение Компонент, который генерирует план действий (например, в архитектуре агента) или управляет очередью запросов (например, scheduler в vLLM). ## Где…

• wikiWaiting queue

  # Waiting queue ## Определение Очередь запросов, ожидающих начала обработки, из которой scheduler берёт новые запросы для выполнения. ## Где встречается - [[438. Что…

• answerКак работает scheduler в vLLM? Какие алгоритмы выбора запросов?

  …возможное [[Вики/Starvation\|голодание]] низкоприоритетных запросов; требуется механизм назначения приоритетов. ### 4.3 Fairness (справедливость) [[Вики/Inference scheduler\|Scheduler]] стремится равномерно…

• wikifairness scheduling

  …Как работает scheduler в vLLM Какие алгоритмы выбора запросов|207. Как работает scheduler в vLLM Какие алгоритмы выбора запросов]] - [[447…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать data locality scheduler

  …Реализовать data locality scheduler ## 1. Цель задачи Разработать прототип планировщика (scheduler) для распределённой вычислительной системы, который размещает задачи на узлах…

• wikirecomputation

  …Как работает scheduler в vLLM Какие алгоритмы выбора запросов|207. Как работает scheduler в vLLM Какие алгоритмы выбора запросов]] - [[304…

• answerКак работают inference schedulers (FCFS, Priority, Fairness)?

  …Что такое inference scheduler и зачем он нужен [[Вики/Inference scheduler\|Inference scheduler]] ([[Вики/Planner\|планировщик]] инференса]]) — программный [[Вики/Module…

• wikiAging

  …Как работают inference schedulers (FCFS, Priority, Fairness)|850. Как работают inference schedulers (FCFS, Priority, Fairness)]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikiConvoy effect

  …Как работают inference schedulers (FCFS, Priority, Fairness)|850. Как работают inference schedulers (FCFS, Priority, Fairness)]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikiLatency-sensitive

  …Как работают inference schedulers (FCFS, Priority, Fairness)|850. Как работают inference schedulers (FCFS, Priority, Fairness)]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikiSwap

  …Как работает scheduler в vLLM Какие алгоритмы выбора запросов|207. Как работает scheduler в vLLM Какие алгоритмы выбора запросов]] - [[232…

• wikiArrival time

  …Как работает scheduler в vLLM Какие алгоритмы выбора запросов|447. Как работает scheduler в vLLM Какие алгоритмы выбора запросов]] ## Навигация…

• wikisequence

  …Как работает scheduler в vLLM Какие алгоритмы выбора запросов|207. Как работает scheduler в vLLM Какие алгоритмы выбора запросов]] ## Навигация…

• wikihybrid scheduling

  …Как работает scheduler в vLLM Какие алгоритмы выбора запросов|207. Как работает scheduler в vLLM Какие алгоритмы выбора запросов]] ## Навигация…

• wikiPreemption by recomputation

  …Как работают inference schedulers (FCFS, Priority, Fairness)|850. Как работают inference schedulers (FCFS, Priority, Fairness)]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikiboxplot

  …Сравнить inference schedulers (FCFS vs Priority)|219. Сравнить inference schedulers (FCFS vs Priority)]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

• wikiLIFO-эвристика

  …Как работают inference schedulers (FCFS, Priority, Fairness)|850. Как работают inference schedulers (FCFS, Priority, Fairness)]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikiSwapped queue

  …Как работает scheduler в vLLM Какие алгоритмы выбора запросов|447. Как работает scheduler в vLLM Какие алгоритмы выбора запросов]] ## Навигация…

• wikiPreemption by swap

  …Как работают inference schedulers (FCFS, Priority, Fairness)|850. Как работают inference schedulers (FCFS, Priority, Fairness)]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikiCDF

  …Сравнить inference schedulers (FCFS vs Priority)|219. Сравнить inference schedulers (FCFS vs Priority)]] - [[224. vLLM кластер на 4 GPU|224…

• wikiPriority ceiling

  …Как работают inference schedulers (FCFS, Priority, Fairness)|850. Как работают inference schedulers (FCFS, Priority, Fairness)]] - [[293. Настроить conflict resolution между…

• wikiDrop rate

  …Сравнить inference schedulers (FCFS vs Priority)|219. Сравнить inference schedulers (FCFS vs Priority)]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

• wikiRunning queue

  …Как работает scheduler в vLLM Какие алгоритмы выбора запросов|447. Как работает scheduler в vLLM Какие алгоритмы выбора запросов]] ## Навигация…

• wikipriority queuing

  …Сравнить inference schedulers (FCFS vs Priority)|219. Сравнить inference schedulers (FCFS vs Priority)]] - [[292. Реализовать distributed task queue для агентов…

• wikiPriority

  …Как работает scheduler в vLLM Какие алгоритмы выбора запросов|447. Как работает scheduler в vLLM Какие алгоритмы выбора запросов]] - [[453…

• wikiasyncio.Queue

  …Сравнить inference schedulers (FCFS vs Priority)|219. Сравнить inference schedulers (FCFS vs Priority)]] - [[294. Реализовать leader election для агентов|294…

• wikiFirst-come-first-serve

  …Как работает scheduler в vLLM Какие алгоритмы выбора запросов|447. Как работает scheduler в vLLM Какие алгоритмы выбора запросов]] - [[Практика…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Сравнить inference schedulers (FCFS vs Priority)

  …Сравнить inference schedulers (FCFS vs Priority) ## 1. Цель задачи Научиться проектировать и сравнивать два подхода к планированию инференса в многотенантной…

• wikiBlock manager

  …Как работает scheduler в vLLM Какие алгоритмы выбора запросов|447. Как работает scheduler в vLLM Какие алгоритмы выбора запросов]] - [[837…

• answerКак работает continuous batching в TGI (Hugging Face Text Generation Inference)?

  …Термин «[[Вики/token-level scheduler\|токен-уровневый scheduler]]» ([[Вики/token-level scheduler\|token-level scheduler]]) — компонент, который на каждой итерации…

• answerКак работает warp scheduling на NVIDIA GPU и как это влияет на LLM kernels?

  …Из них физически исполняться может только ограниченное число (зависит от числа schedulers и [[Вики/пайплайн\|pipeline]]). ### 1.3 Warp scheduler…