model.unload

Определение

Операция выгрузки модели из памяти GPU для освобождения ресурсов при завершении работы инференс-сервиса.

Где встречается

• 409. Как вы проектируете graceful shutdown для LLM serving pod в Kubernetes

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление