Поиск
- wikiDevOps Overhead
# DevOps Overhead ## Определение Трудоёмкость администрирования self-hosted LLM-инфраструктуры, включая настройку, мониторинг и обновления. ## Где встречается - [[72. OpenAI vs Антропик…
- answerOpenAI vs Anthropic vs Groq vs Self-hosted — что выбираете?
…Даёт полный контроль над данными, [[Вики/TTFT\|latency]] и выбором модели, но требует DevOps-инфраструктуры и GPU-ресурсов. Термин [[Вики…
- answerКакую векторную БД вы выберете для production-системы с >1 млн векторов?
…2GB для векторов (768d, FP32) ``` Альтернативы - Нет DevOPS → Pinecone (но платите $150/мес и теряете гибридный поиск) - >50 млн векторов…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Создать blameless postmortem template
…Рекомендации из книг «The [[Вики/Arize Phoenix\|Phoenix]] Project» / «DevOps Handbook» 2. Выделить ключевые принципы blameless - Инцидент — результат системных, а…
- answerКак считать TCO (Total Cost of Ownership) для RAG/Agent системы?
…Администрирование и поддержка - Зарплата SRE/DevOps (0.25 FTE) — $50k–80k/год. - Поддержка со стороны вендоров (Enterprise Support для векторной…
- answerКак вы планируете масштабирование команды вокруг LLM-системы?
…4–15 человек | ML Engineer, Backend, Frontend, Prompt Engineer, DevOps | Разделение по специализациям, появляются процессы MLOps | | Scale | 15+ человек | Все…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Создать runbook для инцидентов
…шаги из runbook и зафиксировать результат. - [ ] Утверждено командой SRE/DevOps на ревью (approval в pull request). ## 6. Ожидаемый результат Готовый…
- answerЧто такое «chaos testing» для агента (внезапно API вернул ошибку)?
…или **[[Вики/chaos engineering\|Chaos Engineering]]**) — практика, заимствованная из DevOps и [[Вики/SRE\|SRE]]. Она предполагает проведение контролируемых экспериментов, в…
- answerКак вы проектируете feature store для ML фичей, используемых LLM?
…Для enterprise с [[Вики/Real-time ingestion\|streaming]] — [[Вики/Tecton\|Tecton]] (дорого, но меньше DevOps). --- ## 7. Интеграция с LLM (retrieval…
- answerЧто такое error budget для AI качества и как его считать?
…Error budget — это операционная метрика для DevOps/MLOps, а не для оценки модели как таковой. --- ## Пет-проект для закрепления [[Вики…
- answerКакие инструменты и фреймворки существуют для Harness Engineering?
…Включает: - [[Вики/Harness Engineering\|Harness]] AI DevOps — [[Вики/Prompt lifecycle\|управление версиями промптов]], [[Вики/AB testing\|A/B-тестирование]] LLM…
- answerКак вы шифруете данные для RAG (конфиденциальность)?
…TEE) | Можно (TEE или изоляция) | | Сложность управления | Низкая | Высокая (DevOps) | | Риск комплаенса | Данные покидают инфраструктуру | Данные остаются у вас | Основной…
- answerЧто такое Cost Engineering для LLM-систем?
…токенов инференс (на собственных GPU) | Среднее–высокое | Нужны GPU, DevOps | | Distilled model + local GPU | $0.0005/1K токенов | Ниже, но…
- answerЧто такое «prompt as code» (промпты в Git, code review)?
…versioning\|Prompt as code]] решает эти проблемы через стандартные DevOps-практики. --- ## 3. Жизненный цикл промпта как кода ### 3.1 Разработка…
- answerКак вы делаете canary analysis для новой LLM модели?
…Почему именно такие проценты Это «правило большого пальца» из практики DevOps: 5 % достаточно, чтобы заметить аномалию при большом потоке запросов…
- answerКак вы управляете секретами (API keys для LLM) в Kubernetes?
…как описано в п.4. [[Вики/sequence\|Sequence]] 1. DevOps инженер обновляет ключ в AWS Secrets Manager. 2. ESO (через…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Написать postmortem для неудачного делегирования
…Добавить fallback инструмент для get_inventory (кэш + mock) | Команда DevOps | 2 дня | | Ввести схему передачи данных между агентами (JSON Schema…
- answerКак бы вы спроектировали RAG-систему для 10 000 документов с разной структурой (PDF, Word, сканы, HTML, Excel)?
…Вики/Qdrant\|Pinecone]] | Managed (не нужно администрировать) | Если нет DevOPS ресурсов | | [[Вики/Faiss\|Chroma]] | Простая, легкая | Только для прототипов | 10…
- answerКак вы проектируете multi-region active-active для LLM API?
…Требует DevOps-экспертизы. | | Cache miss при failover | Временное увеличение нагрузки на LLM в здоровом регионе, так как кэш пуст для…
- answerКак организовать feature store для AI (Feast, Hopsworks)?
…Богатая экосистема, но избыточна для простых сценариев | | Требования к devops | Минимальные | Высокие (кластер Kubernetes) | Когда выбрать Feast: вам нужна лёгкая…
- answerКакие embedding-модели вы использовали и почему?
…бюджет]] на [[Вики/API\|API]] (30k запросов/день) - Нет DevOPS для поддержки [[Вики/GPU\|GPU]] Результат Качество [[Вики/retrieval\|retrieval…
- wikiИндекс терминов
…DevEx|DevEx]] - [[Вики/device_map|device_map]] - [[Вики/DevOps Overhead|DevOps Overhead]] - [[Вики/DevTools Protocol|DevTools Protocol]] - [[Вики/DFA|DFA…
- question_bankЧАСТЬ 1: RAG-СИСТЕМЫ (20 вопросов)
…Mixtral/Llama | | **Self-hosted** | Контроль данных, дешево при масштабе | DevOps overhead, требует GPU | **Ваш ответ:** «Для POC — OpenAI. Для production…