Поиск

• wikiLLM production

  # LLM production ## Определение Эксплуатация LLM в промышленной среде с требованиями к надёжности, масштабируемости и мониторингу; включает SRE-практики и управление…

• wikiproduction readiness

  # production readiness ## Определение Готовность системы к эксплуатации в production, включающая логирование, мониторинг, масштабирование и обеспечение стабильности. ## Где встречается - [[44. CrewAI…

• wikit-test

  …Как вы делаете AB тестирование двух моделей в production|76. Как вы делаете AB тестирование двух моделей в production]] - [[106…

• wikiBenjamini-Hochberg

  …Как вы делаете AB тестирование двух моделей в production|76. Как вы делаете AB тестирование двух моделей в production]] - [[136…

• wikinovelty effect

  …Как вы делаете AB тестирование двух моделей в production|76. Как вы делаете AB тестирование двух моделей в production]] - [[136…

• wikiproduction

  # production ## Определение Среда эксплуатации модели или системы для реальных пользователей. Включает A/B тестирование, мониторинг и безопасный деплой, часто использует…

• wikiагент в production

  # агент в production ## Определение Эксплуатируемый агент, стоимость которого в production складывается из многих факторов помимо токенов: вычислительные ресурсы, вызовы API…

• wikiproduction ML system

  # production ML system ## Определение Система машинного обучения, работающая в реальной эксплуатации и обслуживающая пользовательские запросы. Требует учёта cost-efficiency, масштабируемости…

• wikiproduction logs

  # production logs ## Определение Логи реального использования системы, содержащие запросы пользователей и ответы модели. Используются для сбора примеров с обратной связью…

• wikiproduction evaluation

  # production evaluation ## Определение Оценка модели на реальных данных из production для проверки её эффективности и качества в условиях эксплуатации. Позволяет…

• wikiMann–Whitney U

  …Как вы делаете AB тестирование двух моделей в production|76. Как вы делаете AB тестирование двух моделей в production]] - [[109…

• wikipower analysis

  …Как вы делаете AB тестирование двух моделей в production|76. Как вы делаете AB тестирование двух моделей в production]] - [[136…

• wikiFeature flag

  …Как вы делаете AB тестирование двух моделей в production|76. Как вы делаете AB тестирование двух моделей в production]] - [[89…

• wikiмониторинг в production

  # мониторинг в production ## Определение Непрерывное отслеживание метрик производительности (латентность, токены, ошибки) RAG-системы в продуктивной среде для выявления проблем и…

• wikiinterference

  …Как вы AB тестируете две версии промпта в production|136. Как вы AB тестируете две версии промпта в production]] - [[502…

• wikiA/B testing

  # A/B testing ## Определение Метод сравнения двух версий модели, пайплайна или промпта в production с разделением трафика для оценки эффекта…

• wikijiwer

  …Как вы проверяете качество parsing документов (PDF, DOCX) в production|272. Как вы проверяете качество parsing документов (PDF, DOCX) в…

• wikiUser feedback

  …Как вы AB тестируете две версии промпта в production|136. Как вы AB тестируете две версии промпта в production]] - [[142…

• wikiCharacter Error Rate

  …Как вы проверяете качество parsing документов (PDF, DOCX) в production|272. Как вы проверяете качество parsing документов (PDF, DOCX) в…

• wikiCitation

  …Как вы предотвращаете галлюцинации в production RAG системе|96. Как вы предотвращаете галлюцинации в production RAG системе]] - [[166. Назовите 7…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать prompt lifecycle

  …В meta.[[Вики/XML\|yaml]] обновить статус на `[[Вики/production\|production]]` и дату. 4. Зафиксировать версию в `[[Вики/production\|production…

• wikiBigQuery

  # BigQuery ## Определение Облачное хранилище данных, используемое для логирования поколений LLM при A/B тестировании промптов в production. ## Где встречается - [[801…

• wikiproduction incident

  # production incident ## Определение Ключевое событие, требующее немедленного реагирования при эксплуатации LLM-системы. Обрабатывается по заранее определённому playbook для минимизации влияния…

• wikiparsing

  …Как вы проверяете качество parsing документов (PDF, DOCX) в production|272. Как вы проверяете качество parsing документов (PDF, DOCX) в…

• wikiLLMOps

  # LLMOps ## Определение Практика управления жизненным циклом больших языковых моделей в production, включая развёртывание, мониторинг и обновление. ## Где встречается - [[80. Какие…

• wikibootstrap

  …Как вы AB тестируете две версии промпта в production|136. Как вы AB тестируете две версии промпта в production]] - [[179…

• wikiаннотации о деплоях

  # аннотации о деплоях ## Определение Метки на дашборде Grafana для отметки моментов изменений (например, смена цен) при отслеживании затрат в production…

• wikipython-docx

  …Как вы проверяете качество parsing документов (PDF, DOCX) в production|272. Как вы проверяете качество parsing документов (PDF, DOCX) в…

• answerКакие 3 книги/курса вы рекомендуете по production LLM?

  …Почему важен осознанный выбор источников для production LLM [[Вики/LLM production\|Production LLM]] — это не только вызов модели через [[Вики…

• wikionline evaluation

  # online evaluation ## Определение Оценка модели в production на реальном пользовательском трафике, включающая A/B-тесты и бизнес-метрики. ## Где встречается…

• wikicompletion rate

  …Как делать AB тестирование промптов в production|801. Как делать AB тестирование промптов в production]] - [[807. Что такое «prompt observability…

• wikipdfminer.six

  …Как вы проверяете качество parsing документов (PDF, DOCX) в production|272. Как вы проверяете качество parsing документов (PDF, DOCX) в…

• wikiFireworks AI

  …Используется для снижения стоимости production-запросов. ## Где встречается - [[70. Как вы снижаете стоимость LLM в production на 50%+|70. Как…

• wikiday-of-week effect

  # day-of-week effect ## Определение Эффект дня недели, возникающий при A/B-тестировании промптов в production: запуск в пятницу может…

• wikiGrafana dashboard

  …Используется для мониторинга стоимости агента и других показателей LLM production. ## Где встречается - [[148. Как вы измеряете стоимость агента в production…

• wikiPostHog

  # PostHog ## Определение Аналитическая платформа с возможностью A/B-тестирования, сбора метрик и использования feature flags для экспериментов в production. ## Где…

• wikiTogether.ai

  …Как вы снижаете стоимость LLM в production на 50%+|70. Как вы снижаете стоимость LLM в production на 50%+]] - [[800…

• wikiClickHouse

  …Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production]] - [[801. Как делать AB тестирование промптов в production|801. Как…

• wikiSentry

  # Sentry ## Определение Инструмент мониторинга и сбора ошибок, используемый для алертинга при исключениях в production. Часто применяется для автоматического уведомления о…

• wikiDCGM Exporter

  …Как вы разворачиваете LLM в production (self-hosted)|61. Как вы разворачиваете LLM в production (self-hosted)]] ## Навигация - [[00. Индекс…

• wikiinfrastructure cost

  …Как вы измеряете стоимость агента в production (не только токены)|148. Как вы измеряете стоимость агента в production (не только…

• wikiShadow mode

  …Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production]] - [[179. Как вы AB тестируете агентов в production|179. Как…

• wikiGPT-4o mini

  …Применяется для снижения стоимости в production и в RAG-пайплайнах. ## Где встречается - [[70. Как вы снижаете стоимость LLM в production…

• wikiBonferroni correction

  …Как вы делаете AB тестирование двух моделей в production|76. Как вы делаете AB тестирование двух моделей в production]] - [[136…

• wikiself-BLEU

  …Какие метрики вы мониторите для LLM в production|62. Какие метрики вы мониторите для LLM в production]] - [[173. Как вы…

• wikiCascade Uncertainty Amplification

  # Cascade Uncertainty Amplification ## Определение Ошибки на ранних шагах агентного пайплайна накапливаются и усиливаются в многошаговых процессах, являясь одним из production…

• wikicanary deployment

  …Как вы разворачиваете LLM в production (self-hosted)|61. Как вы разворачиваете LLM в production (self-hosted)]] - [[69. Как вы…

• wikiWord Error Rate

  …Как вы проверяете качество parsing документов (PDF, DOCX) в production|272. Как вы проверяете качество parsing документов (PDF, DOCX) в…

• wikicost per request

  …Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production]] - [[136. Как вы AB тестируете две версии промпта в production…

• wikiclaim extraction

  …Какие метрики вы мониторите для LLM в production|62. Какие метрики вы мониторите для LLM в production]] - [[134. Как вы…