HBM

Определение

Высокоскоростная память GPU (например, HBM3), используемая для хранения весов модели и KV cache; является узким местом для памяти при инференсе LLM.

Где встречается

• 201. Что такое continuous batching и как оно отличается от static batching Как это реализовано в vLLMTGI
• 210. Что такое chunked prefill и зачем он нужен
• 304. Что такое FlashAttention с точки зрения CUDA programming
• 305. Как вы профилируете GPU utilization для LLM serving (nsys, ncu, nvprof)
• 423. Как работает tensor parallelism для LLM training Чем отличается от инференса
• 425. Как работает sequence parallelism в контексте LLM
• 431. Почему LLM inference memory-bound, а не compute-bound
• 432. Как работает FlashAttention-3 технически Чем отличается от FA2
• 437. Почему decode stage плохо batchится
• 459. Как вы дебажите низкую GPU utilization (например, 40% на A100)
• 474. Как работает FlashAttention для training (не только inference)
• 642. Как вы реализуете KV cache для 1M токенов на 8x H100
• 650. Что такое memory-efficient attention для long context на 8x H100
• 667. Как работает FlashAttention математически (tiling, recomputation, не материализуя S)
• 703. Как работает L1L2 cache hierarchy в A100H100 и как ее использовать для LLM
• 706. Что такое TMA (Tensor Memory Accelerator) в H100 и как он ускоряет FlashAttention-3
• 707. Как работает asynchronous execution на Hopper (copy engine vs compute)
• 709. NVIDIA Grace Hopper CPU-GPU unified memory, как это меняет LLM serving
• 710. Бенчмаркинг LLM на AMD MI300X vs H100 различия в архитектуре и оптимизации
• 844. Как работает FlashAttention-3 математически
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление