H100
H100
Определение
Графический процессор NVIDIA архитектуры Hopper с поддержкой FP8 через Transformer Engine и MIG, ключевой для инференса LLM.
Где встречается
- 303. Как работают Tensor Cores в H100B200 и для чего они нужны
- 307. Как PCIe bottleneck проявляется в multi-GPU инференсе
- 312. Как работает FP8 quantization на H100 (Transformer Engine)
- 314. Как работает NVLink Switch System на DGX H100
- 315. Что такое MIG (Multi-Instance GPU) и когда он полезен для LLM
- 432. Как работает FlashAttention-3 технически Чем отличается от FA2
- 458. Что такое FP8 инференс на H100 (Transformer Engine)
- 460. Как работает tensor parallelism с FP8 в vLLM
- 706. Что такое TMA (Tensor Memory Accelerator) в H100 и как он ускоряет FlashAttention-3
- 710. Бенчмаркинг LLM на AMD MI300X vs H100 различия в архитектуре и оптимизации
- 844. Как работает FlashAttention-3 математически
- Практика
- 800+ вопросов
- 4. Настроить GPU Direct RDMA
- 54. Сравнить Hyena vs FlashAttention на 128k
- 214. Реализовать FP8 инференс на H100