English translation is not available yet. Showing Russian content.
Data parallelism
Data parallelism
Определение
Стратегия распределения данных по нескольким репликам модели для параллельного обучения или инференса. Для LLM инференса часто комбинируется с tensor и pipeline parallelism.
Где встречается
- 83. Как спроектировать систему, где LLM должна работать с конфиденциальными данными (медицина, финансы)
- 126. Что такое MITRE ATLAS и как он связан с MITRE ATT&CK
- 203. Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.
- 263. Как вы обрабатываете PII в данных для RAG (GDPR, 152-ФЗ)
- 307. Как PCIe bottleneck проявляется в multi-GPU инференсе
- 314. Как работает NVLink Switch System на DGX H100
- 351. Как работает model stealing attack и как защититься
- 356. Что такое data poisoning атака на fine-tuning и как защититься
- 357. Как работает membership inference атака на LLM
- 401. Как работает tensor parallelism для LLM инференса В чем отличие от pipeline parallelism
- 402. Что такое NCCL и почему он критичен для multi-GPU инференса
- 423. Как работает tensor parallelism для LLM training Чем отличается от инференса
- 424. Что такое pipeline parallelism и проблема pipeline bubbles
- 425. Как работает sequence parallelism в контексте LLM
- 426. Что такое 3D parallelism (data + tensor + pipeline)
- 461. Почему training 70B модели требует optimizer sharding (ZeRO-3)
- 462. ZeRO-1 vs ZeRO-2 vs ZeRO-3 что и когда использовать
- 468. Почему small batch size (32) ухудшает training стабильность
- 602. Как работает membership inference атака на LLM
- 612. Что такое data exfiltration через LLM (утечка данных через ответы)
- 620. Что такое differential privacy для LLM и как она работает
- 622. Как работает membership inference через logits (разница в вероятностях)
- 623. Что такое secure aggregation для федеративного обучения LLM
- 710. Бенчмаркинг LLM на AMD MI300X vs H100 различия в архитектуре и оптимизации
- 849. Что такое expert parallelism для MoE моделей (Mixtral)
- 869. Как избежать benchmark contamination (когда модель видела тестовые данные)
- 885. Как происходит PII leakage через LLM и как защититься
- 800+ вопросов