H100

Определение

Графический процессор NVIDIA архитектуры Hopper с поддержкой FP8 через Transformer Engine и MIG, ключевой для инференса LLM.

Где встречается

• 303. Как работают Tensor Cores в H100B200 и для чего они нужны
• 307. Как PCIe bottleneck проявляется в multi-GPU инференсе
• 312. Как работает FP8 quantization на H100 (Transformer Engine)
• 314. Как работает NVLink Switch System на DGX H100
• 315. Что такое MIG (Multi-Instance GPU) и когда он полезен для LLM
• 432. Как работает FlashAttention-3 технически Чем отличается от FA2
• 458. Что такое FP8 инференс на H100 (Transformer Engine)
• 460. Как работает tensor parallelism с FP8 в vLLM
• 706. Что такое TMA (Tensor Memory Accelerator) в H100 и как он ускоряет FlashAttention-3
• 710. Бенчмаркинг LLM на AMD MI300X vs H100 различия в архитектуре и оптимизации
• 844. Как работает FlashAttention-3 математически
• Практика
• 800+ вопросов
• 4. Настроить GPU Direct RDMA
• 54. Сравнить Hyena vs FlashAttention на 128k
• 214. Реализовать FP8 инференс на H100

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление