Point-to-point communication
Point-to-point communication
Определение
Коммуникация между двумя узлами напрямую без посредников; используется для передачи данных между соседними стадиями пайплайна или в децентрализованных архитектурах агентов.
Где встречается
- 203. Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.
- 401. Как работает tensor parallelism для LLM инференса В чем отличие от pipeline parallelism
- 425. Как работает sequence parallelism в контексте LLM
- 426. Что такое 3D parallelism (data + tensor + pipeline)
- 726. Как предотвращать free-riding в multi-agent системе (агенты не вносят вклад, но потребляют)
- 840. Когда tensor parallelism хуже pipeline parallelism
- 897. Как работают agent swarms (рой агентов)
- Практика
- 1. Развернуть NCCL бенчмарк на 2-8 GPU
- 4. Настроить GPU Direct RDMA
- 6. Настроить NVLink topology для 8x GPU
- 9. Профилировать network congestion на 64 GPU
- 190. Написать тесты для меж-агентской коммуникации