中文翻译暂不可用，显示俄语原文。
GPU memory
GPU memory
Определение
Оперативная память, расположенная на графическом процессоре, используемая для хранения данных модели и промежуточных вычислений. Её объём критичен для размещения больших LLM.
Где встречается
- 78. Какие LLM для русского языка вы используете
- 444. Почему 4-bit inference иногда медленнее 8-bit
- 708. Что такое MIG (Multi-Instance GPU) и как настроить для разных LLM
- 800+ вопросов
- 54. Сравнить Hyena vs FlashAttention на 128k
- 206. Развернуть vLLM vs TGI, сравнить throughput
- 209. Настроить AWQ quantization для LLM
- 235. LoRA для function calling
- 244. Fine-tune QLoRA на 1 GPU