Edge deployment
Edge deployment
Определение
Размещение и запуск моделей на устройствах пользователя или периферийных серверах вместо центрального облака. Позволяет достичь низкой задержки и работы офлайн.
Где встречается
- 7. Как вы уменьшаете latency RAG-системы (время ответа)
- 64. Как вы обеспечиваете низкую задержку (500ms) для LLM
- 544. Как вы строите real-time voice agent с latency 500ms
- 549. Как вы проектируете систему для real-time video understanding (поток с камеры)
- 584. Что такое agent distillation (обучение маленького агента на траекториях большого)