Поиск
- wikiMIG profile
…Что такое MIG (Multi-Instance GPU) и как настроить для разных LLM|708. Что такое MIG (Multi-Instance GPU) и…
- wikiKubernetes Device Plugin for MIG
# Kubernetes Device Plugin for MIG ## Определение Специализированный плагин Kubernetes, который управляет MIG-инстансами (Multi-Instance GPU) как отдельными устройствами, позволяя…
- wikiMIG Manager
# MIG Manager ## Определение Инструмент NVIDIA для автоматизации создания, удаления и управления MIG-инстансами на GPU. ## Где встречается - [[708. Что такое…
- answerЧто такое MIG (Multi-Instance GPU) и как настроить для разных LLM?
…Что такое MIG (Multi-Instance GPU) и как настроить для разных LLM? ## Краткий тезис **MIG (GPU|Multi-Instance GPU)** — это…
- answerЧто такое MIG (Multi-Instance GPU) и когда он полезен для LLM?
…Включить MIG на GPU: `sudo nvidia-smi -mig 1 && sudo nvidia-smi mig -cgi 1g.10gb -C 7` (создать 7…
- wikislot migration
# slot migration ## Определение Процесс перемещения слотов между шардами в Redis Cluster для балансировки нагрузки или обработки горячих шардов. Выполняется с…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить GPU scheduling для multi-tenant
…2g.20gb ``` 3. **Примените [[Вики/ConfigMap\|ConfigMap]] и дождитесь перезапуска [[Вики/MIG Manager\|MIG Manager]]**: ```bash kubectl apply -f mig…
- wikioffline migration
# offline migration ## Определение Процесс переноса данных между системами, выполняемый без остановки работающего сервиса, обычно с использованием фоновых задач. ## Где встречается…
- wikidata migration
# data migration ## Определение Перенос данных при изменении схемы, необходимый для breaking changes в RAG. ## Где встречается - [[271. Как вы делаете…
- wikiGPU instance
# GPU instance ## Определение Логический GPU, создаваемый с помощью технологии MIG (Multi-Instance GPU), который получает фиксированную долю ресурсов физического GPU…
- wikiNoisy neighbor problem
…Решения включают MIG и изоляцию ресурсов. ## Где встречается - [[315. Что такое MIG (Multi-Instance GPU) и когда он полезен для…
- wikiPhi-2
# Phi-2 ## Определение Малая LLM (2.7B параметров), используемая как judge-verifier в agentic RAG и для тестирования MIG (Multi…
- wikiCUDA_VISIBLE_DEVICES
# CUDA_VISIBLE_DEVICES ## Определение Переменная окружения для выбора конкретных GPU или MIG-инстансов, видимых процессу. Используется для привязки процессов к…
- answerКак организовать GPU scheduling для multi-tenant LLM serving?
…Настроить MIG на GPU: создать два инстанса (1g.10gb и 2g.20gb). 2. Установить nvidia-device-plugin с MIG‑поддержкой…
- wikivGPU
…Что такое MIG (Multi-Instance GPU) и когда он полезен для LLM|315. Что такое MIG (Multi-Instance GPU) и…
- wikiMulti-Instance GPU
# Multi-Instance GPU ## Определение Технология разделения GPU A100/H100 на изолированные инстансы для запуска разных LLM. ## Где встречается - [[Практика|Практика…
- wikiE5-large
…Что такое MIG (Multi-Instance GPU) и как настроить для разных LLM|708. Что такое MIG (Multi-Instance GPU) и…
- wikiAWS DMS
# AWS DMS ## Определение Сервис AWS для захвата изменений данных (CDC), альтернатива Debezium. Позволяет выполнять инкрементальную загрузку часто меняющихся документов. ## Где…
- wikiTemporal partitioning
…Что такое MIG (Multi-Instance GPU) и когда он полезен для LLM|315. Что такое MIG (Multi-Instance GPU) и…
- wikiVolcano
…Что такое MIG (Multi-Instance GPU) и как настроить для разных LLM|708. Что такое MIG (Multi-Instance GPU) и…
- wikiBGE-reranker
…Что такое MIG (Multi-Instance GPU) и как настроить для разных LLM|708. Что такое MIG (Multi-Instance GPU) и…
- wikiA100
# A100 ## Определение Флагманская GPU NVIDIA архитектуры Ampere с 80GB памяти, поддерживающая MIG (Multi-Instance GPU) и широко используемая для инференса…
- wikiL2 Cache
…Что такое MIG (Multi-Instance GPU) и как настроить для разных LLM|708. Что такое MIG (Multi-Instance GPU) и…
- wikiH100
# H100 ## Определение Графический процессор NVIDIA архитектуры Hopper с поддержкой FP8 через Transformer Engine и MIG, ключевой для инференса LLM. ## Где…
- wikiGPU memory
…Что такое MIG (Multi-Instance GPU) и как настроить для разных LLM|708. Что такое MIG (Multi-Instance GPU) и…
- wikiРучная миграция
# Ручная миграция ## Определение Редкая стратегия обновления индекса или модели с помощью maintenance window и ручной замены. ## Где встречается - [[800+ вопросов…
- wikiLimitRange
# LimitRange ## Определение Объект Kubernetes для ограничения ресурсов в namespace, используемый при настройке GPU scheduling для multi-tenant (MIG). ## Где встречается…
- wikiCLUSTER SETSLOT
# CLUSTER SETSLOT ## Определение Команда Redis Cluster для перемещения слотов между узлами при решардинге, используется для обнаружения и обработки hot shard…
- wikiполитика перемещения данных
# политика перемещения данных ## Определение Правила, определяющие автоматическое перемещение данных между уровнями (hot/warm/cold) tiered storage в зависимости от возраста…
- wikinode selector
# node selector ## Определение Механизм привязки подов к узлам по меткам; в контексте GPU scheduling позволяет назначать конкретные устройства, например MIG…
- wikimaintenance window
# maintenance window ## Определение Плановый период недоступности системы для обслуживания, например полной переиндексации данных или ручной миграции, чтобы минимизировать время простоя…
- wikiДвухфазная миграция
# Двухфазная миграция ## Определение Стратегия обновления эмбеддингов с нулевым простоем, использующая два индекса: старый (read-only) и новый (building). После заполнения…
- wikinvidia-smi
…Что такое MIG (Multi-Instance GPU) и как настроить для разных LLM|708. Что такое MIG (Multi-Instance GPU) и…
- wikiKubernetes device plugin
# Kubernetes device plugin ## Определение Плагин Kubernetes, управляющий доступом к специализированным устройствам (например, GPU), поддерживающий MIG, MPS и time-slicing, и…
- wikiTinyLlama
…Что такое MIG (Multi-Instance GPU) и как настроить для разных LLM|708. Что такое MIG (Multi-Instance GPU) и…
- wikiCUDA
…Что такое MIG (Multi-Instance GPU) и когда он полезен для LLM|315. Что такое MIG (Multi-Instance GPU) и…
- wikischema evolution
# schema evolution ## Определение Процесс изменения структуры данных со временем с сохранением совместимости, например, с помощью Avro или Protobuf с optional…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить tiered storage (hot/warm/cold)
…tiered_storage/migrate.py --action=demote_to_warm 0 2 * * * /usr/bin/python3 /opt/tiered_storage/migrate.py --action=move…
- wikip50
…Что такое MIG (Multi-Instance GPU) и как настроить для разных LLM|708. Что такое MIG (Multi-Instance GPU) и…
- wikiTensorRT-LLM
…Что такое MIG (Multi-Instance GPU) и как настроить для разных LLM|708. Что такое MIG (Multi-Instance GPU) и…
- wikiSelf-RAG
…Что такое MIG (Multi-Instance GPU) и как настроить для разных LLM|708. Что такое MIG (Multi-Instance GPU) и…
- answerКак работает Torch Compile (torch.compile) и в чем его ограничения для LLM?
…Что такое MIG (Multi-Instance GPU) и когда он полезен для LLM\|315]] | Оптимизация инференса LLM (vLLM, TensorRT-LLM) | | [[317…
- answerКак работает asynchronous execution на Hopper (copy engine vs compute)?
…Что такое MIG (Multi-Instance GPU) и как настроить для разных LLM\|708]] | Pipeline parallelism для LLM | | [[710. Бенчмаркинг LLM…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить hot shard detection
…или написать скрипт с `[[Вики/CLUSTER SETSLOT\|CLUSTER SETSLOT ... MIGRATING/IMPORTING]]`. --- ## 3. Технологический стек | Компонент | Инструменты | Назначение | |-----------|-------------|------------| | Шардированный кеш | Redis…
- answerКак обрабатывать schema drift в данных для RAG?
…В случае drift вызывайте функцию `migrate_document`, которая добавляет default-значения или переименовывает поля. 4. После миграции пересоздавайте эмбеддинг и…
- answerКак работает NVLink Switch System на DGX H100?
…Что такое MIG (Multi-Instance GPU) и когда он полезен для LLM\|315]] | Tensor Parallelism: как разрезать модель на GPU…
- answerКак организовать feature store для AI (Feast, Hopsworks)?
…признаков через [[Вики/feature\|feature]] [[Вики/View\|views]] и migrations. - [[Вики/Интеграция\|Интеграция]] с [[Вики/GPT-4o\|LLM]]: можно хранить…
- answerЧто такое CUDA graphs и как они ускоряют LLM инференс?
…Что такое MIG (Multi-Instance GPU) и когда он полезен для LLM\|315]] | Квантизация для ускорения инференса | | [[316. Как работает…
- answerКак работает FP8 quantization на H100 (Transformer Engine)?
…Что такое MIG (Multi-Instance GPU) и когда он полезен для LLM\|315]] | Объём памяти и batch size для больших…
- answerКак вы диагностируете, что проблема в memory bandwidth, а не в compute?
…Что такое MIG (Multi-Instance GPU) и когда он полезен для LLM\|315]] | Как профилировать RAG-систему? | | [[310. Как вы…