Поиск

wikipipeline bubbles
# pipeline bubbles ## Определение Время простоя GPU при ожидании результатов от предыдущего этапа конвейера, характерное для pipeline parallelism. ## Где встречается - [[203…
wikimicrobatches
# microbatches ## Определение Разбиение батча на мелкие части для конвейерной обработки, уменьшающее простои (bubbles) в pipeline parallelism. ## Где встречается - [[203. Tensor…
wiki3D parallelism
# 3D parallelism ## Определение Комбинация трёх уровней параллелизма (data, tensor, pipeline) для распределённого обучения больших моделей (100B+ параметров). Стандартный подход для…
wiki1F1B
# 1F1B ## Определение Схема pipeline parallelism с чередованием forward и backward одного микробатча, уменьшающая пузыри и потребление памяти. ## Где встречается - [[203…
wikiModel parallelism
# Model parallelism ## Определение Общая стратегия распараллеливания модели, включающая Tensor Parallelism и Pipeline Parallelism. ## Где встречается - [[203. Tensor parallelism vs pipeline…
wikiMegatron-LM
# Megatron-LM ## Определение Megatron-LM — фреймворк от NVIDIA для распределённого обучения больших языковых моделей, реализующий 3D parallelism (data, tensor, pipeline…
wikisequence parallelism
…Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…
wikiHidden dimension
…Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…
wikiPipeline parallelism
# Pipeline parallelism ## Определение Стратегия распараллеливания, при которой модель разрезается по слоям между узлами (GPU); требует микробатчей и страдает от pipeline…
wikiRedis pipeline
# Redis pipeline ## Определение Техника групповой отправки команд Redis без ожидания ответа, уменьшающая задержки. Также термин используется для обозначения pipeline parallelism…
wikiPoint-to-point communication
…Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…
wikiGPipe
# GPipe ## Определение Фреймворк для pipeline parallelism в обучении нейросетей, который использует micro-batching для эффективного использования вычислительных ресурсов. ## Где встречается…
wikiNVLink
…Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…
wikiDeepSpeed Inference
# DeepSpeed Inference ## Определение Компонент DeepSpeed для автоматического выбора tensor/pipeline parallelism на основе профилирования для ускорения инференса. ## Где встречается - [[203…
wikiInterleaved 1F1B
# Interleaved 1F1B ## Определение Улучшенная схема pipeline parallelism, при которой каждая стадия обрабатывает несколько последовательных фрагментов, уменьшая pipeline bubbles. ## Где встречается…
wikiAllReduce
…Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…
wikiData parallelism
…Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…
wikiChimera
# Chimera ## Определение Оптимизированное расписание для pipeline parallelism, уменьшающее время простоя (bubble) за счет более гибкого распределения микро-батчей. ## Где встречается…
wikiPCIe
…Когда tensor parallelism хуже pipeline parallelism|840. Когда tensor parallelism хуже pipeline parallelism]] - [[800+ вопросов|800+ вопросов]] - [[1. Развернуть NCCL…
wikiNVLink Switch System
…Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…
wikiPipeline bubble ratio
…Что такое pipeline parallelism и проблема pipeline bubbles|424. Что такое pipeline parallelism и проблема pipeline bubbles]] ## Навигация - [[00. Индекс…
wikiCompute/communication ratio
…Когда tensor parallelism хуже pipeline parallelism|840. Когда tensor parallelism хуже pipeline parallelism]] - [[800+ вопросов|800+ вопросов]] ## Навигация - [[00. Индекс…
wikiG-Pipe
…Что такое pipeline parallelism и проблема pipeline bubbles|424. Что такое pipeline parallelism и проблема pipeline bubbles]] ## Навигация - [[00. Индекс…
wikiAllGather
…Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…
answerЧто такое pipeline parallelism и проблема pipeline bubbles?
…Что такое pipeline parallelism и проблема pipeline bubbles? ## Краткий тезис **[[Вики/пайплайн автоматического тестирования\|Pipeline]] [[Вики/parallelism\|parallelism]]** — это техника…
wikiFP16
…Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…
wikiRow-wise
…Как работает tensor parallelism для LLM инференса В чем отличие от pipeline parallelism|401. Как работает tensor parallelism для LLM…
wikiTensor parallelism
…Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…
wikiexpert parallelism
…Что такое 3D parallelism (data + tensor + pipeline)|426. Что такое 3D parallelism (data + tensor + pipeline)]] - [[849. Что такое expert parallelism…
wikiColumn-wise
…Как работает tensor parallelism для LLM инференса В чем отличие от pipeline parallelism|401. Как работает tensor parallelism для LLM…
wikiHorovod
# Horovod ## Определение Фреймворк для распределенного обучения, поддерживающий только data parallelism. ## Где встречается - [[426. Что такое 3D parallelism (data + tensor + pipeline…
wiki1F1B with interleaving
…Что такое 3D parallelism (data + tensor + pipeline)|426. Что такое 3D parallelism (data + tensor + pipeline)]] ## Навигация - [[00. Индекс терминов|Индекс…
answerЧто такое 3D parallelism (data + tensor + pipeline)?
…Pipeline Parallelism (PP) **[[Вики/Pipeline parallelism\|Pipeline parallelism]]** ([[Вики/Pipeline parallelism\|конвейерный параллелизм]]) — [[Вики/decoupling\|разделение]] модели по глубине: каждый…
wikiDeepSpeed
…Что такое pipeline parallelism и проблема pipeline bubbles|424. Что такое pipeline parallelism и проблема pipeline bubbles]] - [[425. Как работает…
wikiColossal-AI
…Что такое 3D parallelism (data + tensor + pipeline)|426. Что такое 3D parallelism (data + tensor + pipeline)]] ## Навигация - [[00. Индекс терминов|Индекс…
wikiRing all-reduce
…Когда tensor parallelism хуже pipeline parallelism|840. Когда tensor parallelism хуже pipeline parallelism]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
wikiInfiniBand
…Что такое pipeline parallelism и проблема pipeline bubbles|424. Что такое pipeline parallelism и проблема pipeline bubbles]] - [[425. Как работает…
wikiZeRO
…Когда tensor parallelism хуже pipeline parallelism|840. Когда tensor parallelism хуже pipeline parallelism]] - [[800+ вопросов|800+ вопросов]] ## Навигация - [[00. Индекс…
answerКак работает tensor parallelism для LLM инференса? В чем отличие от pipeline parallelism?
…Как работает tensor parallelism для LLM инференса? В чем отличие от pipeline parallelism? ## Краткий тезис **parallelism|Tensor parallelism (TP)** разрезает…
wikigradient accumulation
…Что такое pipeline parallelism и проблема pipeline bubbles|424. Что такое pipeline parallelism и проблема pipeline bubbles]] - [[426. Что такое…
wikiDTensor
…Что такое 3D parallelism (data + tensor + pipeline)|426. Что такое 3D parallelism (data + tensor + pipeline)]] ## Навигация - [[00. Индекс терминов|Индекс…
wiki4D-параллелизм
# 4D-параллелизм ## Определение Комбинация data, tensor, pipeline и expert parallelism для масштабирования крупных MoE-моделей (например, Mixtral). ## Где встречается - [[849…
answerКак работает tensor parallelism для LLM training? Чем отличается от инференса?
…На практике TP часто используют вместе с **[[Вики/Pipeline parallelism\|Pipeline Parallelism]]** и **[[Вики/Data parallelism\|Data Parallelism]]** ([[Вики/3D…
answerКак работает sequence parallelism в контексте LLM?
…Сравнение с другими видами параллелизма | Параметр | Sequence Parallelism | Tensor Parallelism | Pipeline Parallelism | Data Parallelism | |----------|----------------------|--------------------|----------------------|------------------| | Ось разрезания | Длина последовательности | Скрытая размерность…
answerКогда tensor parallelism хуже pipeline parallelism?
…Когда tensor parallelism хуже pipeline parallelism? ## Краткий тезис parallelism|Tensor parallelism (TP) и pipeline parallelism (PP) — две основные стратегии распределения…
wikiNCCL
…Как работает tensor parallelism для LLM инференса В чем отличие от pipeline parallelism|401. Как работает tensor parallelism для LLM…
answerTensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса?
…Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса? ## Краткий тезис При инференсе больших языковых моделей (LLM…
wikiGPU
…Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…
wikiLoad balancer
…Что такое pipeline parallelism и проблема pipeline bubbles|424. Что такое pipeline parallelism и проблема pipeline bubbles]] - [[435. Почему MoE…
wikiFFN
…Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…