English translation is not available yet. Showing Russian content.
Spot Instances
Spot Instances
Определение
Основной тип вычислительных ресурсов для batch inference, которые могут быть прерваны облаком. Используются для cost optimization, комбинируются с on-demand.
Где встречается
- 251. Как вы деплоите LLM на spot instances в облаке
- 254. Как вы проектируете disaster recovery для LLM системы при сбое региона
- 418. Как вы деплоите LLM на spot instances в облаке
- 455. Как вы выбираете между online и batch инференсом для LLM
- 719. Как проектировать аукцион для allocation вычислительных ресурсов между агентами
- 775. Что такое Cost Engineering для LLM-систем
- Практика
- 800+ вопросов
- 73. Сравнить spot vs on-demand для batch inference
- 76. Настроить reserved instances для постоянной нагрузки
- 135. Рассчитать ROI от fine-tuning
- 143. Сравнить reserved vs spot vs on-demand