Swap

Определение

Механизм выгрузки данных (например, KV-кэша) из GPU в CPU или на диск для экономии памяти. Применяется при переполнении видеопамяти.

Где встречается

• 207. Как работает scheduler в vLLM Какие алгоритмы выбора запросов
• 232. Что такое Memory-optimized ANN и какие алгоритмы лучшие для ограниченной RAM (16GB)
• 447. Как работает scheduler в vLLM Какие алгоритмы выбора запросов
• 493. Что такое Positional bias в LLM-as-Judge и как его исправить
• 683. Что такое data augmentation для LLM (back-translation, paraphrasing, masking)
• 709. NVIDIA Grace Hopper CPU-GPU unified memory, как это меняет LLM serving
• 848. Как работает динамическое бэтчирование в TGI vs vLLM
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление