Data parallelism
Data parallelism
Определение
Стратегия распределения данных по нескольким репликам модели для параллельного обучения или инференса. Для LLM инференса часто комбинируется с tensor и pipeline parallelism.
Где встречается
- 83. Как спроектировать систему, где LLM должна работать с конфиденциальными данными (медицина, финансы)
- 126. Что такое MITRE ATLAS и как он связан с MITRE ATT&CK
- 203. Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.
- 263. Как вы обрабатываете PII в данных для RAG (GDPR, 152-ФЗ)
- 307. Как PCIe bottleneck проявляется в multi-GPU инференсе
- 314. Как работает NVLink Switch System на DGX H100
- 351. Как работает model stealing attack и как защититься
- 356. Что такое data poisoning атака на fine-tuning и как защититься
- 357. Как работает membership inference атака на LLM
- 401. Как работает tensor parallelism для LLM инференса В чем отличие от pipeline parallelism
- 402. Что такое NCCL и почему он критичен для multi-GPU инференса
- 423. Как работает tensor parallelism для LLM training Чем отличается от инференса
- 424. Что такое pipeline parallelism и проблема pipeline bubbles
- 425. Как работает sequence parallelism в контексте LLM
- 426. Что такое 3D parallelism (data + tensor + pipeline)
- 461. Почему training 70B модели требует optimizer sharding (ZeRO-3)
- 462. ZeRO-1 vs ZeRO-2 vs ZeRO-3 что и когда использовать
- 468. Почему small batch size (32) ухудшает training стабильность
- 602. Как работает membership inference атака на LLM
- 612. Что такое data exfiltration через LLM (утечка данных через ответы)
- 620. Что такое differential privacy для LLM и как она работает
- 622. Как работает membership inference через logits (разница в вероятностях)
- 623. Что такое secure aggregation для федеративного обучения LLM
- 710. Бенчмаркинг LLM на AMD MI300X vs H100 различия в архитектуре и оптимизации
- 849. Что такое expert parallelism для MoE моделей (Mixtral)
- 869. Как избежать benchmark contamination (когда модель видела тестовые данные)
- 885. Как происходит PII leakage через LLM и как защититься
- 800+ вопросов