Поиск
- wikiCybersecurity
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
- wikiData card
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
- wikiAI Verify
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
- wikiIBM AI Fairness 360
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
- wikiNIST AI RMF
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
- wikiModel cards
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
- wikiLIME
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
- wikiInterpretability
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
- wikitoxic content
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
- wikiSHAP
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
- wikiEU AI Act
# EU AI Act ## Определение Регуляторный акт ЕС, классифицирующий AI-системы по уровням риска и влияющий на деплой LLM. ## Где встречается…
- wikiVertex AI Batch Prediction
…машинах (preemptible VMs), упрощающий деплой и снижающий затраты. ## Где встречается - [[251. Как вы деплоите LLM на spot instances в облаке…
- wikiMulti-region deployment
# Multi-region deployment ## Определение Размещение инфраструктуры LLM-системы в нескольких географических регионах для снижения сетевой задержки и повышения отказоустойчивости. Включает…
- wikiadversarial input
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
- wikiStateless
…Как вы деплоите LLM на spot instances в облаке|251. Как вы деплоите LLM на spot instances в облаке]] - [[576…
- wikirobustness
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
- answerКак вы деплоите LLM с TensorRT-LLM в production?
…TensorRT-LLM\|TensorRT-LLM]] — это библиотека от NVIDIA для оптимизированного инференса [[Вики/LLM\|LLM]] на [[Вики/GPU\|GPU]]. Деплой в…
- wikicanary deployment
…Настроить autoscaling для LLM сервера|192. Настроить autoscaling для LLM сервера]] - [[202. Настроить health checks для LLM|202. Настроить health…
- wikiBlue-green deployment
…Как вы проектируете canary deployment для LLM модели|382. Как вы проектируете canary deployment для LLM модели]] - [[410. Как вы…
- wikipandas
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
- wikiStreamlit
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Полный production агент
…приложений | | 234 | Мониторинг LLM-агентов: метрики и трейсинг | | 345 | GitHub Actions для AI-проектов: сборка и деплой | | 456 | Docker-контейнеризация…
- wikiMinikube
# Minikube ## Определение Инструмент для запуска локального Kubernetes-кластера, используемый для тестирования деплоя RAG-систем, включая blue-green деплой, graceful shutdown…
- wikiRAG
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
- wikibias
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
- answerКак вы деплоите policy (RLHF модель) в production с online feedback loop?
…Инфраструктура serving Деплой policy требует эффективного **model serving**. Популярные решения: - [[Вики/Paged Attention\|vLLM]] — высокопроизводительный инференс для LLM с PagedAttention…
- wikiPrompt injection
…Что такое EU AI Act и как оно влияет на деплой LLM в production|732. Что такое EU AI Act…
- answerКак в Harness Engineering реализована эвалюация и дрейф (evaluation & drift)?
…Оценка строится на Eval Runner — запуске сценариев с scorers (объективными и LLM‑as‑judge метриками), а **Quality Gates** блокируют деплой…
- answerЧто такое EU AI Act и как оно влияет на деплой LLM в production?
…Что такое EU AI Act и как оно влияет на деплой LLM в production? ## Краткий тезис [[Вики/EU AI Act…
- answerКак вы делаете canary analysis для новой LLM модели?
…Пет-проект для закрепления [[Вики/Task\|Задача]] реализовать canary‑деплой для простого LLM-сервиса на FastAPI с двумя версиями модели…
- answerЧто такое «prompt as code» (промпты в Git, code review)?
…GPT-4o\|LLM]] и проверяет условия (`expected_response_contains`, наличие цитат и т.п.). ### 3.4 CD — Деплой в Prompt…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать prompt lifecycle
…best practices | | 112 | Canary деплой для LLM-сервисов | | 145 | Жизненный цикл конфигураций (Configuration Lifecycle) | | 201 | Оценка качества ответов LLM (ROUGE…
- answerКак вы организуете CI/CD для RAG-пайплайна?
…Как вы организуете CI/CD для RAG-пайплайна? ## Краткий тезис CI/CD для RAG-пайплайна — это не просто деплой кода…
- answerКак вы делаете blue-green deployment для RAG системы с zero downtime?
…Вики/LLM-as-a-judge\|LLM-as-judge]]), [[Вики/Latency\|latency]]. - Если [[Вики/tests\|тесты]] не пройдены — деплой останавливается, Green…
- answerКак вы проверяете, что новая версия модели не сломала старые кейсы?
…Почему важно: - Модели [[Вики/LLM\|LLM]] — недетерминированные: одно и то же изменение промпта может улучшить одни кейсы, но сломать другие…
- answerКак вы деплоите LLM на spot instances в облаке?
…Как вы деплоите LLM на spot instances в облаке? ## Краткий тезис Деплой [[Вики/LLM\|LLM]] на [[Вики/Spot Instances\|spot…
- answerКак вы управляете разными версиями промптов в production?
…Почему промпты нужно версионировать отдельно от кода? **Термин «[[Вики/prompt\|промпт]]»** — это [[Вики/Prompt engineering\|инструкция]], передаваемая [[Вики/LLM\|LLM…
- answerКак комбинировать LLM с симуляторами физики (digital twins)?
…Что такое EU AI Act и как оно влияет на деплой LLM в production\|732]] | Безопасность AI-агентов при доступе…
- answerКак вы проектируете on-call ротацию для AI сервиса?
…p99]] | > 5 сек | Проверить LLM API, масштабирование | | [[Вики/ошибки\|Error rate]] | > 1% | Проверить логи, откатить деплой | | **Faithfulness** | < 0.8 | Откатить…
- answerКакие инструменты и фреймворки существуют для Harness Engineering?
…Они фиксируют: - Каждый [[Вики/LLM call\|вызов LLM]] ([[Вики/prompt\|промпт]], ответ, количество токенов, [[Вики/cost\|стоимость]]). - Шаги агента (какой…
- answerКак вы деплоите LLM на spot instances в облаке?
…Как вы деплоите LLM на spot instances в облаке? ## Краткий тезис Деплой [[Вики/LLM\|LLM]] на [[Вики/Spot Instances\|spot…
- answerКак выполнять requirement on transparency (статья 13 EU AI Act) для LLM?
…Что такое EU AI Act и как оно влияет на деплой LLM в production\|732]] | EU AI Act: штрафы и…
- answerКак вы деплоите speculative decoding в production?
…Деплой сводится к конфигурации: **vLLM (пример конфигурации):** ```python from vllm import LLM, SamplingParams llm = LLM( model="meta-llama/Llama-3…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать роутер запросов между Groq и GPT-4 с делегированием по сложности
…2. [[Вики/LLM\|GPT-4]] — вместо платного [[Вики/LLM\|GPT-4]] использовать `[[Вики/LLM\|gpt-4o-mini]]` (доступен через [[Вики…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настройка мониторинга дрейфа метрик faithfulness и recall
…Реализовать функцию `compute_faithfulness(answers, contexts)` – например, с помощью [[Вики/LLM-as-a-judge\|LLM-as-judge]] (если доступна [[Вики…
- answerКак вы проверяете, что новая версия модели не сломала старые кейсы?
…Для [[Вики/LLM-as-a-judge\|LLM-as-a-Judge]] можно использовать среднюю оценку: ухудшение на 0.3 балла и…
- answerКакие 3 книги/курса вы рекомендуете по production LLM?
…Какие 3 книги/курса вы рекомендуете по production LLM? ## Краткий тезис Для перехода от экспериментов с [[Вики/LLM\|LLM]] к…
- answerКак вы обрабатываете production incident с LLM (playbook)?
…Как вы обрабатываете production incident с LLM (playbook)? ## Краткий тезис [[Вики/production incident\|Production incident]] с [[Вики/LLM\|LLM]] — это…
- answerЧто такое LLM для symbolic regression (AI Feynman) и как это работает?
…Что такое EU AI Act и как оно влияет на деплой LLM в production\|732]] | Как LLM помогает в научных…
- answerКак вы переносите агента из прототипа в production (MLOps)?
…агент, MLOps, production vs prototype - **[[Вики/agent\|Агент]] ([[Вики/agent\|AI Agent]])** — программная сущность, которая принимает решения, используя [[Вики/LLM…