A100

Определение

Флагманская GPU NVIDIA архитектуры Ampere с 80GB памяти, поддерживающая MIG (Multi-Instance GPU) и широко используемая для инференса и обучения больших языковых моделей.

Где встречается

• 307. Как PCIe bottleneck проявляется в multi-GPU инференсе
• 315. Что такое MIG (Multi-Instance GPU) и когда он полезен для LLM
• 459. Как вы дебажите низкую GPU utilization (например, 40% на A100)
• 464. Почему BF16 лучше FP16 для training
• 706. Что такое TMA (Tensor Memory Accelerator) в H100 и как он ускоряет FlashAttention-3
• 840. Когда tensor parallelism хуже pipeline parallelism
• 844. Как работает FlashAttention-3 математически
• 800+ вопросов
• 4. Настроить GPU Direct RDMA
• 54. Сравнить Hyena vs FlashAttention на 128k
• 135. Рассчитать ROI от fine-tuning
• 140. Рассчитать break-even point продукта
• 244. Fine-tune QLoRA на 1 GPU

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление