RUEN中文
…

Поиск

  • wiki3D parallelism

    # 3D parallelism ## Определение Комбинация трёх уровней параллелизма (data, tensor, pipeline) для распределённого обучения больших моделей (100B+ параметров). Стандартный подход для…

  • wikipipeline bubbles

    …Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…

  • wikisequence parallelism

    …Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…

  • wikimicrobatches

    # microbatches ## Определение Разбиение батча на мелкие части для конвейерной обработки, уменьшающее простои (bubbles) в pipeline parallelism. ## Где встречается - [[203. Tensor…

  • wikiModel parallelism

    # Model parallelism ## Определение Общая стратегия распараллеливания модели, включающая Tensor Parallelism и Pipeline Parallelism. ## Где встречается - [[203. Tensor parallelism vs pipeline…

  • wikiMegatron-LM

    # Megatron-LM ## Определение Megatron-LM — фреймворк от NVIDIA для распределённого обучения больших языковых моделей, реализующий 3D parallelism (data, tensor, pipeline…

  • wikiHidden dimension

    …Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…

  • wikiAllReduce

    # AllReduce ## Определение Коллективная операция синхронизации и агрегации (суммирования) данных между несколькими GPU, критичная для параллельных вычислений, таких как tensor parallelism…

  • wiki1F1B

    …Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…

  • wikiRow-wise

    # Row-wise ## Определение Способ разрезания матрицы весов по строкам при tensor parallelism для распределения вычислений между устройствами. ## Где встречается - [[401…

  • wikiColumn-wise

    # Column-wise ## Определение Способ разрезания матрицы весов по столбцам при реализации tensor parallelism, используемый как в инференсе, так и в…

  • wikiPoint-to-point communication

    …Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…

  • wikiNVLink

    …Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…

  • wikiDeepSpeed Inference

    # DeepSpeed Inference ## Определение Компонент DeepSpeed для автоматического выбора tensor/pipeline parallelism на основе профилирования для ускорения инференса. ## Где встречается - [[203…

  • wikiTensor parallelism

    # Tensor parallelism ## Определение Стратегия распределения модели, при которой веса слоёв разрезаются между GPU, а attention heads распределяются. Требует частых коммуникаций…

  • wikiCompute/communication ratio

    …Когда tensor parallelism хуже pipeline parallelism|840. Когда tensor parallelism хуже pipeline parallelism]] - [[800+ вопросов|800+ вопросов]] ## Навигация - [[00. Индекс…

  • wikiAllGather

    …Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…

  • wikiGPipe

    …Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…

  • wikiPipeline parallelism

    …Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…

  • wikiData parallelism

    …Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…

  • wikiPCIe

    …Когда tensor parallelism хуже pipeline parallelism|840. Когда tensor parallelism хуже pipeline parallelism]] - [[800+ вопросов|800+ вопросов]] - [[1. Развернуть NCCL…

  • wikiNVLink Switch System

    …Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…

  • wikiZeRO

    …Когда tensor parallelism хуже pipeline parallelism|840. Когда tensor parallelism хуже pipeline parallelism]] - [[800+ вопросов|800+ вопросов]] ## Навигация - [[00. Индекс…

  • wikiFP16

    …Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…

  • wikiexpert parallelism

    …Что такое 3D parallelism (data + tensor + pipeline)|426. Что такое 3D parallelism (data + tensor + pipeline)]] - [[849. Что такое expert parallelism…

  • wikiHorovod

    # Horovod ## Определение Фреймворк для распределенного обучения, поддерживающий только data parallelism. ## Где встречается - [[426. Что такое 3D parallelism (data + tensor + pipeline…

  • wikiChimera

    …Что такое 3D parallelism (data + tensor + pipeline)|426. Что такое 3D parallelism (data + tensor + pipeline)]] ## Навигация - [[00. Индекс терминов|Индекс…

  • wikiNCCL

    …Как работает tensor parallelism для LLM инференса В чем отличие от pipeline parallelism|401. Как работает tensor parallelism для LLM…

  • wikiColossal-AI

    …Что такое 3D parallelism (data + tensor + pipeline)|426. Что такое 3D parallelism (data + tensor + pipeline)]] ## Навигация - [[00. Индекс терминов|Индекс…

  • answerЧто такое NCCL и почему он критичен для multi-GPU инференса?

    …Tensor Parallelism и AllReduce Рассмотрим, как работает [[Вики/Tensor parallelism\|tensor parallelism]] на примере линейного слоя `y = xW`. Если веса…

  • wikiRing all-reduce

    …Когда tensor parallelism хуже pipeline parallelism|840. Когда tensor parallelism хуже pipeline parallelism]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • answerЧто такое NCCL и зачем он для tensor parallelism?

    …Tensor Parallelism (тензорный параллелизм) **[[Вики/Tensor parallelism\|Tensor Parallelism]] (TP)** — способ распределения модели, при котором один слой (например, [[Вики/Linear…

  • wiki1F1B with interleaving

    …Что такое 3D parallelism (data + tensor + pipeline)|426. Что такое 3D parallelism (data + tensor + pipeline)]] ## Навигация - [[00. Индекс терминов|Индекс…

  • wikiLinear layers

    …Как работает tensor parallelism с FP8 в vLLM|460. Как работает tensor parallelism с FP8 в vLLM]] ## Навигация - [[00. Индекс…

  • wikiDTensor

    …Что такое 3D parallelism (data + tensor + pipeline)|426. Что такое 3D parallelism (data + tensor + pipeline)]] ## Навигация - [[00. Индекс терминов|Индекс…

  • wikiwarp-level parallelism

    # warp-level parallelism ## Определение Метод параллелизма на уровне варпов, используемый в инструкциях WGMMA для эффективного использования Tensor Cores. ## Где встречается…

  • wikinvtop

    …Как работает tensor parallelism для LLM training Чем отличается от инференса|423. Как работает tensor parallelism для LLM training Чем…

  • answerЧто такое 3D parallelism (data + tensor + pipeline)?

    …Tensor Parallelism (TP) **[[Вики/Tensor parallelism\|Tensor parallelism]]** (внутрислойный [[Вики/parallelism\|параллелизм]]) — [[Вики/decoupling\|разделение]] вычислений одного слоя, например, матричного…

  • wikicProfile

    …Как работает tensor parallelism для LLM training Чем отличается от инференса|423. Как работает tensor parallelism для LLM training Чем…

  • wikigradient synchronization

    …Как работает tensor parallelism для LLM training Чем отличается от инференса|423. Как работает tensor parallelism для LLM training Чем…

  • wiki4D-параллелизм

    # 4D-параллелизм ## Определение Комбинация data, tensor, pipeline и expert parallelism для масштабирования крупных MoE-моделей (например, Mixtral). ## Где встречается - [[849…

  • wikiA100

    …Когда tensor parallelism хуже pipeline parallelism|840. Когда tensor parallelism хуже pipeline parallelism]] - [[844. Как работает FlashAttention-3 математически|844…

  • answerКак работает sequence parallelism в контексте LLM?

    …Сравнение с другими видами параллелизма | Параметр | Sequence Parallelism | Tensor Parallelism | Pipeline Parallelism | Data Parallelism | |----------|----------------------|--------------------|----------------------|------------------| | Ось разрезания | Длина последовательности | Скрытая размерность…

  • wikitensor-parallel-size

    # tensor-parallel-size ## Определение Параметр vLLM, определяющий количество GPU для распределения модели с помощью tensor parallelism. Влияет на масштабирование и…

  • answerКак работает tensor parallelism для LLM training? Чем отличается от инференса?

    …Что такое Tensor Parallelism (TP) **parallelism|Tensor Parallelism** — это стратегия model parallelism (распараллеливания модели), при которой веса одного слоя (например…

  • answerКак работает tensor parallelism для LLM инференса? В чем отличие от pipeline parallelism?

    …Как работает tensor parallelism для LLM инференса? В чем отличие от pipeline parallelism? ## Краткий тезис **parallelism|Tensor parallelism (TP)** разрезает…

  • wikiscaling factors

    …Как работает tensor parallelism с FP8 в vLLM|460. Как работает tensor parallelism с FP8 в vLLM]] - [[800+ вопросов|800…

  • answerКак PCIe bottleneck проявляется в multi-GPU инференсе?

    …Это делает [[Вики/PCIe\|PCIe]] непригодным для [[Вики/Tensor parallelism\|tensor parallelism]] на больших моделях. --- ## 4. Tensor parallelism и коммуникационные…

  • wikiGPU

    …Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…

  • wikiforward pass

    …Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…