RUEN中文
…

Поиск

  • wikiGPU scheduling

    # GPU scheduling ## Определение Механизм распределения вычислительных ресурсов GPU между задачами или арендаторами (tenant'ами) в multi-tenant окружении. Обеспечивает справедливое…

  • wikitopology-aware scheduling

    # topology-aware scheduling ## Определение Подход к планированию задач в Kubernetes, учитывающий топологию сети (например, домены NVSwitch) для оптимизации размещения tensor…

  • wikiGang scheduling

    # Gang scheduling ## Определение Метод, при котором группа задач (например, распределённый инференс) запускается одновременно; поддерживается Kueue и Volcano. ## Где встречается - [[826…

  • wikinode selector

    # node selector ## Определение Механизм привязки подов к узлам по меткам; в контексте GPU scheduling позволяет назначать конкретные устройства, например MIG…

  • wikipriority-based scheduling

    # priority-based scheduling ## Определение Алгоритм планирования выполнения запросов, при котором запросы с более высоким приоритетом (например, от премиум-пользователей) обрабатываются…

  • wikiVolcano

    # Volcano ## Определение Планировщик пакетных заданий для Kubernetes с поддержкой GPU scheduling, gang scheduling и fair-share; альтернатива Kueue для программного…

  • wikiKueue

    # Kueue ## Определение Нативный планировщик Kubernetes с поддержкой очередей, fair share, preemption и gang scheduling; используется для распределения ресурсов (включая GPU…

  • wikiLearning Rate Scheduling

    # Learning Rate Scheduling ## Определение Процесс динамического изменения learning rate в ходе обучения; включает методы вроде cosine annealing и warmup, улучшающие…

  • wikiFair share

    …Как организовать GPU scheduling для multi-tenant LLM serving|826. Как организовать GPU scheduling для multi-tenant LLM serving]] - [[800…

  • wikiKubernetes device plugin

    …Как организовать GPU scheduling для multi-tenant LLM serving|826. Как организовать GPU scheduling для multi-tenant LLM serving]] - [[Практика…

  • wikiListAndWatch

    # ListAndWatch ## Определение Метод, используемый для модификации объявлений устройств в контексте topology-aware scheduling. ## Где встречается - [[10. Реализовать topology-aware scheduling…

  • wikicustom scheduler

    # custom scheduler ## Определение Пользовательский планировщик Kubernetes, реализующий topology-aware scheduling для оптимизации размещения подов. ## Где встречается - [[10. Реализовать topology-aware…

  • wikiDCGM

    …Как организовать GPU scheduling для multi-tenant LLM serving]] - [[205. Настроить GPU scheduling для multi-tenant|205. Настроить GPU scheduling…

  • wikiiteration-level scheduling

    # iteration-level scheduling ## Определение Механизм планирования на уровне итераций, лежащий в основе continuous batching в vLLM. Позволяет управлять батчем на…

  • wikiLimitRange

    # LimitRange ## Определение Объект Kubernetes для ограничения ресурсов в namespace, используемый при настройке GPU scheduling для multi-tenant (MIG). ## Где встречается…

  • wikiLocalQueue

    # LocalQueue ## Определение LocalQueue — очередь задач в Kubernetes, используемая для подачи задач в каждом namespace, например в системе GPU scheduling. ## Где…

  • wikihybrid scheduling

    # hybrid scheduling ## Определение Комбинация приоритетного и справедливого планирования запросов к LLM для баланса между соблюдением SLA и равномерностью обслуживания. ## Где…

  • wikiWarp scheduling

    # Warp scheduling ## Определение Механизм GPU, при котором при простое одного warp (ожидание памяти) происходит переключение на другой warp для скрытия…

  • wikioff-peak scheduling

    # off-peak scheduling ## Определение Стратегия планирования batch-инференса на периоды с низкой стоимостью GPU, позволяющая снизить затраты. ## Где встречается - [[220…

  • wikiBinpacking

    …Применяется при организации GPU scheduling для мультитенантного обслуживания LLM. ## Где встречается - [[826. Как организовать GPU scheduling для multi-tenant LLM…

  • wikiDCGM_FI_DEV_NVLINK_BANDWIDTH_TOTAL

    …Помогает выявить узкие места при распределённых вычислениях, например, при topology-aware scheduling. ## Где встречается - [[10. Реализовать topology-aware scheduling|10…

  • wikiMin-max fairness

    …Используется в GPU scheduling для multi-tenant LLM serving. ## Где встречается - [[826. Как организовать GPU scheduling для multi-tenant LLM…

  • wikiMulti-tenant LLM serving

    …Включает планирование запросов (scheduling) с учётом SLA каждого тенанта. ## Где встречается - [[826. Как организовать GPU scheduling для multi-tenant LLM…

  • wikiKind

    …Реализовать topology-aware scheduling|10. Реализовать topology-aware scheduling]] - [[74. Настроить auto-scaling для vLLM|74. Настроить auto-scaling для…

  • wikifairness scheduling

    # fairness scheduling ## Определение Алгоритм планирования запросов, гарантирующий каждому tenant минимальную долю ресурсов (fair share) и предотвращающий голодание. ## Где встречается - [[176…

  • wikiAllocate

    …Реализовать topology-aware scheduling|10. Реализовать topology-aware scheduling]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

  • wikinvbandwidth

    …Реализовать topology-aware scheduling|10. Реализовать topology-aware scheduling]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

  • wikiGo

    …Реализовать topology-aware scheduling|10. Реализовать topology-aware scheduling]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

  • wikiClusterRole

    …Реализовать topology-aware scheduling|10. Реализовать topology-aware scheduling]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

  • wikikubetest

    …Реализовать topology-aware scheduling|10. Реализовать topology-aware scheduling]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

  • wikiMSCCL

    …Реализовать topology-aware scheduling|10. Реализовать topology-aware scheduling]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

  • wikischeduler extender

    …Реализовать topology-aware scheduling|10. Реализовать topology-aware scheduling]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

  • wikigpu-exporter

    …Реализовать topology-aware scheduling|10. Реализовать topology-aware scheduling]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

  • wikilabel selector

    …Реализовать topology-aware scheduling|10. Реализовать topology-aware scheduling]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

  • wikiClusterQueue

    …Настроить GPU scheduling для multi-tenant|205. Настроить GPU scheduling для multi-tenant]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikiextended resource

    …Реализовать topology-aware scheduling|10. Реализовать topology-aware scheduling]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

  • wikikube-scheduler

    …Реализовать topology-aware scheduling|10. Реализовать topology-aware scheduling]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

  • wikinode affinity

    …Реализовать topology-aware scheduling|10. Реализовать topology-aware scheduling]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

  • wikicuda_memtest

    …Настроить GPU scheduling для multi-tenant|205. Настроить GPU scheduling для multi-tenant]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikiGPU-экспортёр

    …Настроить GPU scheduling для multi-tenant|205. Настроить GPU scheduling для multi-tenant]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikibatch/v1 Job

    …Настроить GPU scheduling для multi-tenant|205. Настроить GPU scheduling для multi-tenant]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikiResourceFlavor

    …Настроить GPU scheduling для multi-tenant|205. Настроить GPU scheduling для multi-tenant]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikipreemption

    …Как организовать GPU scheduling для multi-tenant LLM serving|826. Как организовать GPU scheduling для multi-tenant LLM serving]] - [[837…

  • wikifake device plugin

    …Настроить GPU scheduling для multi-tenant|205. Настроить GPU scheduling для multi-tenant]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikiResourceQuota

    …Настроить GPU scheduling для multi-tenant|205. Настроить GPU scheduling для multi-tenant]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikiGini coefficient

    …Как организовать GPU scheduling для multi-tenant LLM serving|826. Как организовать GPU scheduling для multi-tenant LLM serving]] ## Навигация…

  • wikiHierarchical resource quotas

    …Как организовать GPU scheduling для multi-tenant LLM serving|826. Как организовать GPU scheduling для multi-tenant LLM serving]] ## Навигация…

  • wikiInterleaved 1F1B

    # Interleaved 1F1B ## Определение Улучшенная схема pipeline parallelism, при которой каждая стадия обрабатывает несколько последовательных фрагментов, уменьшая pipeline bubbles. ## Где встречается…

  • wikiMulti-Instance GPU

    …Настроить GPU scheduling для multi-tenant|205. Настроить GPU scheduling для multi-tenant]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikinvidia-container-toolkit

    …Реализовать topology-aware scheduling|10. Реализовать topology-aware scheduling]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…