Knowledge Portal

aivaro.ru

  • Оглавление
  • Вопросы
  • Практика
  • Вики
  • Тесты
  • Поиск
✈Telegram @AetSeidhe
RUEN中文
…
Оглавление/Вики/recovery time

recovery time

recovery time

Определение

Время загрузки checkpoint и продолжения генерации на on-demand инстансе; обычно 100 мс – несколько секунд.

Где встречается

  • 418. Как вы деплоите LLM на spot instances в облаке
  • 160. Написать test plan для агента

Навигация

  • Индекс терминов
  • Индекс разборов
  • Оглавление

Теги

wikiтерминevaluationinferencemlops

Ссылки

  • Как вы деплоите LLM на spot instances в облаке?
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Написать test plan для агента

Обратные ссылки (9)

  • Индекс терминов
  • Как вы делаете load shedding при перегрузке LLM сервера?
  • Как вы делаете multi-region failover с RTO <5 минут?
  • Как вы деплоите LLM на spot instances в облаке?
  • Как вы обрабатываете ошибки агента (action не сработал, API вернул ошибку)?
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Написать postmortem для retrieval degradation
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать WAL для векторной БД
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать circuit breaker на вызовы агента
  • Что такое circuit breaker и как он применяется к LLM API вызовам?