Swap
Swap
Определение
Механизм выгрузки данных (например, KV-кэша) из GPU в CPU или на диск для экономии памяти. Применяется при переполнении видеопамяти.
Где встречается
- 207. Как работает scheduler в vLLM Какие алгоритмы выбора запросов
- 232. Что такое Memory-optimized ANN и какие алгоритмы лучшие для ограниченной RAM (16GB)
- 447. Как работает scheduler в vLLM Какие алгоритмы выбора запросов
- 493. Что такое Positional bias в LLM-as-Judge и как его исправить
- 683. Что такое data augmentation для LLM (back-translation, paraphrasing, masking)
- 709. NVIDIA Grace Hopper CPU-GPU unified memory, как это меняет LLM serving
- 848. Как работает динамическое бэтчирование в TGI vs vLLM
- 800+ вопросов