GPU memory leak

Определение

Проблема, при которой процесс постепенно занимает всю доступную память GPU, что приводит к зависанию или аварийному завершению. Требует мониторинга и health check'ов.

Где встречается

• 250. Как вы делаете health check для LLM сервера с учетом модели (не только процесс)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление