Spot Instances
Spot Instances
Определение
Основной тип вычислительных ресурсов для batch inference, которые могут быть прерваны облаком. Используются для cost optimization, комбинируются с on-demand.
Где встречается
- 251. Как вы деплоите LLM на spot instances в облаке
- 254. Как вы проектируете disaster recovery для LLM системы при сбое региона
- 418. Как вы деплоите LLM на spot instances в облаке
- 455. Как вы выбираете между online и batch инференсом для LLM
- 719. Как проектировать аукцион для allocation вычислительных ресурсов между агентами
- 775. Что такое Cost Engineering для LLM-систем
- Практика
- 800+ вопросов
- 73. Сравнить spot vs on-demand для batch inference
- 76. Настроить reserved instances для постоянной нагрузки
- 135. Рассчитать ROI от fine-tuning
- 143. Сравнить reserved vs spot vs on-demand