nvidia-smi
nvidia-smi
Определение
CLI-утилита для мониторинга и управления NVIDIA GPU. Показывает текущую утилизацию, использование памяти, температуру и другие метрики. Является основным диагностическим инструментом для GPU.
Где встречается
- 62. Какие метрики вы мониторите для LLM в production
- 416. Как вы делаете load shedding при перегрузке LLM сервера
- 452. Как вы управляете memory fragmentation при длительном раннинге LLM сервера
- 708. Что такое MIG (Multi-Instance GPU) и как настроить для разных LLM
- 846. Как дебажить memory fragmentation в LLM сервере
- Практика
- 800+ вопросов
- 4. Настроить GPU Direct RDMA
- 10. Реализовать topology-aware scheduling
- 54. Сравнить Hyena vs FlashAttention на 128k
- 92. Профилировать GPU utilization падение
- 205. Настроить GPU scheduling для multi-tenant
- 206. Развернуть vLLM vs TGI, сравнить throughput
- 212. Настроить chunked prefill для long context
- 224. vLLM кластер на 4 GPU