Поиск

wikiCybersecurity
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
wikiData card
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
wikiAI Verify
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
wikiIBM AI Fairness 360
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
wikiNIST AI RMF
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
wikiModel cards
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
wikiLIME
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
wikiInterpretability
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
wikitoxic content
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
wikiSHAP
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
wikiVercel
# Vercel ## Определение Платформа для развертывания фронтенда и бекенда прототипа онбординга, ускоряющая деплой и итерации. ## Где встречается - [[89. Спроектировать onboarding для…
wikiEU AI Act
# EU AI Act ## Определение Регуляторный акт ЕС, классифицирующий AI-системы по уровням риска и влияющий на деплой LLM. ## Где встречается…
wikiDevEx
# DevEx ## Определение Затраты на разработку, тестирование, деплой и эксплуатацию RAG/Agent системы. ## Где встречается - [[776. Как считать TCO (Total Cost…
wikiVertex AI Batch Prediction
…пакетного инференса на прерываемых виртуальных машинах (preemptible VMs), упрощающий деплой и снижающий затраты. ## Где встречается - [[251. Как вы деплоите LLM…
wikiQuality gates
# Quality gates ## Определение Пороговые значения метрик (faithfulness, answer relevance и др.), которые блокируют деплой новой версии агента или останавливают пайплайн…
wikiStateful
…обновляет состояние между запросами — индексы, кэш, сессии, что усложняет деплой и синхронизацию. ## Где встречается - [[243. Как вы делаете blue-green…
wikiMulti-region deployment
# Multi-region deployment ## Определение Размещение инфраструктуры LLM-системы в нескольких географических регионах для снижения сетевой задержки и повышения отказоустойчивости. Включает…
wikiproduction
…Включает A/B тестирование, мониторинг и безопасный деплой, часто использует гибрид fine-tuned модели и RAG. ## Где встречается - [[71. Как…
wikiStateless
…Упрощает масштабирование, blue-green деплой и использование spot instances. ## Где встречается - [[85. Как вы обрабатываете смену форматов документов (legacy + новые…
wikiadversarial input
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
wikirobustness
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
wikipandas
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
wikicanary deployment
# canary deployment ## Определение Стратегия постепенного развёртывания новой версии модели или промпта, при которой на начальном этапе трафик перенаправляется на новую…
answerКак вы деплоите LLM с TensorRT-LLM в production?
…Что такое TVM (Apache TVM) и зачем он нужен для AI инференса\|324]] | Деплой с vLLM | | [[325. Как вы сравниваете…
wikiBlue-green deployment
# Blue-green deployment ## Определение Стратегия развёртывания с двумя идентичными production-окружениями (синее — текущее, зелёное — новое), позволяющая мгновенно переключать трафик и…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Полный production агент
…Интеграционное тестирование и деплой на staging (4 часа) Действия 1. Развернуть staging окружение на VPS или локально через `docker-compose…
wikiStreamlit
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
wikiRAG
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
wikiMinikube
# Minikube ## Определение Инструмент для запуска локального Kubernetes-кластера, используемый для тестирования деплоя RAG-систем, включая blue-green деплой, graceful shutdown…
wikibias
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
answerКак вы деплоите policy (RLHF модель) в production с online feedback loop?
…Как вы деплоите policy (RLHF модель) в production с online feedback loop? ## Краткий тезис Деплой RLHF-политики в [[Вики/production…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить Bloom filter для retrieval
…Мониторинг и деплой (30 минут) [[Вики/Действия\|Действия]] 1. Добавить Prometheus-метрики: ```python from prometheus_client import Counter, Histogram, generate…
answerКак вы организуете CI/CD для RAG-пайплайна?
…Как вы организуете CI/CD для RAG-пайплайна? ## Краткий тезис CI/CD для RAG-пайплайна — это не просто деплой кода…
answerКак в Harness Engineering реализована эвалюация и дрейф (evaluation & drift)?
…Оценка строится на Eval Runner — запуске сценариев с scorers (объективными и LLM‑as‑judge метриками), а **Quality Gates** блокируют деплой…
answerЧто такое «prompt as code» (промпты в Git, code review)?
…п.). ### 3.4 CD — Деплой в Prompt Registry После мержа в `main` (или `master`) происходит деплой: - [[Вики/prompt\|Промпт]] загружается…
wikiPrompt injection
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
answerКак вы делаете canary analysis для новой LLM модели?
…Пет-проект для закрепления [[Вики/Task\|Задача]] реализовать canary‑деплой для простого LLM-сервиса на FastAPI с двумя версиями модели…
answerКак вы проверяете, что новая версия модели не сломала старые кейсы?
…Deploy → при успехе — деплой на [[Вики/canary deployment\|canary]] (5% трафика) и постепенное [[Вики/Expansion\|расширение]]. Пример конфигурации [[Вики/CICD…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать prompt lifecycle
…Staging — деплой на staging и A/B тестирование (2 часа) Действия 1. Настроить второй [[Вики/Workflow\|workflow]] `staging-deploy.yml…
answerЧто такое EU AI Act и как оно влияет на деплой LLM в production?
…Что такое EU AI Act и как оно влияет на деплой LLM в production? ## Краткий тезис [[Вики/EU AI Act…
answerКак вы делаете blue-green deployment для RAG системы с zero downtime?
…Развернуть простую RAG-систему (FastAPI + Chroma + OpenAI API) и реализовать blue-green деплой с zero downtime на локальной машине с…
answerКак вы деплоите LLM на spot instances в облаке?
…Как вы деплоите LLM на spot instances в облаке? ## Краткий тезис Деплой [[Вики/LLM\|LLM]] на [[Вики/Spot Instances\|spot…
answerКак вы проектируете on-call ротацию для AI сервиса?
…Как вы тестируете агента на «неожиданные input» (не только adversarial, но и просто странные)\|395]] | Деплоймент и откаты | --- ## Навигация (Obsidian…
answerКак вы управляете разными версиями промптов в production?
…load_prompt(version)} ``` Плюсы независимый деплой, можно менять промпты без перезапуска основного сервиса. Минусы дополнительная инфраструктура. --- ## 10. Мониторинг и метрики…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать query drift детекцию
…Документация и деплой (0.5 часа) Действия 1. Написать `README.md` с: - Описанием архитектуры - Инструкцией по запуску (pip install, запуск…
answerКакие инструменты и фреймворки существуют для Harness Engineering?
…проектирование, реализацию, [[Вики/inference\|тестирование]], деплой, [[Вики/мониторинг в production\|мониторинг]] и [[Вики/iterative improvement\|итеративное улучшение]]. В контексте [[Вики…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настройка мониторинга дрейфа метрик faithfulness и recall
…рабочее [[Вики/alert\|уведомление]] при превышении порога. ### Этап 5: Деплой и тестирование (1.5 часа) Действия 1. Настроить ежедневный запуск…
answerКак строить streaming RAG pipeline (real-time ingestion)?
…Деплой и масштабирование Типовой облачный деплой: - [[Вики/Kubernetes\|Kubernetes]] с Helm-чартами: Strimzi (Kafka Operator), Debezium (KafkaConnect), Flink (Flink Kubernetes…
answerКак комбинировать LLM с симуляторами физики (digital twins)?
…Что такое EU AI Act и как оно влияет на деплой LLM в production\|732]] | Безопасность AI-агентов при доступе…
answerКак вы деплоите LLM на spot instances в облаке?
…Как вы деплоите LLM на spot instances в облаке? ## Краткий тезис Деплой [[Вики/LLM\|LLM]] на [[Вики/Spot Instances\|spot…