unified memory
unified memory
Определение
Технология, обеспечивающая единое виртуальное адресное пространство для CPU и GPU, упрощающая управление данными и позволяющая размещать KV cache в CPU памяти с быстрым доступом.
Где встречается
- 308. Как работают CUDA streams и как они помогают оверлапить compute и communication
- 709. NVIDIA Grace Hopper CPU-GPU unified memory, как это меняет LLM serving
- 800+ вопросов