Поиск

• wikiWhyLabs

  # WhyLabs ## Определение Платформа для мониторинга дрейфа данных и моделей в ML-системах. Поддерживает отслеживание метрик LLM, дрейфа эмбеддингов и настройку…

• wikiдрейф распределения документов

  …Как вы мониторите дрейф данных (data drift) для RAG|74. Как вы мониторите дрейф данных (data drift) для RAG]] - [[503…

• wikiAction Distribution Drift

  …Первый сигнал о дрейфе поведения, требует мониторинга. ## Где встречается - [[391. Как вы проектируете агента, который может работать непрерывно (247) без…

• wikiдрейф распределения запросов

  …Как вы мониторите дрейф данных (data drift) для RAG|74. Как вы мониторите дрейф данных (data drift) для RAG]] - [[503…

• wikiBehavior Drift

  …Как в Harness Engineering реализована эвалюация и дрейф (evaluation & drift)|748. Как в Harness Engineering реализована эвалюация и дрейф (evaluation…

• wikiCUSUM

  # CUSUM ## Определение Статистический метод для обнаружения сдвига среднего в временных рядах метрик, применяемый для детекции дрейфа модели и аномалий. ## Где…

• wikiFactual Drift

  # Factual Drift ## Определение Фактологический дрейф — снижение точности фактов и согласованности (faithfulness) ответов модели с течением времени. ## Где встречается - [[748. Как…

• wikimetric drift

  …Настроить мониторинг дрейфа метрик|281. Настроить мониторинг дрейфа метрик]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

• wikidrift detection

  # drift detection ## Определение Методы выявления дрейфа данных или модели, например, сравнение распределений метрик (KS-тест, PSI) или падение точности. Используется…

• wikiWasserstein distance

  …Как вы мониторите дрейф данных (data drift) для RAG|74. Как вы мониторите дрейф данных (data drift) для RAG]] - [[260…

• answerКак вы измеряете drift retrieval-качества в RAG (когда документы меняются)?

  …Drift (дрейф) в контексте RAG [[Вики/drift\|Drift]] ([[Вики/drift\|дрейф]]) — это изменение распределения данных или целевой переменной со временем…

• wikiEvidently AI

  …Как вы мониторите дрейф данных (data drift) для RAG|74. Как вы мониторите дрейф данных (data drift) для RAG]] - [[177…

• wikiEmbedding-based approach

  # Embedding-based approach ## Определение Метод обнаружения дрейфа данных, основанный на сравнении распределений эмбеддингов ответов модели. ## Где встречается - [[748. Как в…

• wikiZero-hit rate

  # Zero-hit rate ## Определение Доля запросов, не нашедших ни одного документа; рост может указывать на дрейф данных. ## Где встречается - [[74…

• wikiPerformance Drift

  …Как в Harness Engineering реализована эвалюация и дрейф (evaluation & drift)|748. Как в Harness Engineering реализована эвалюация и дрейф (evaluation…

• wikischeduled retraining

  # scheduled retraining ## Определение Переобучение модели через фиксированные интервалы времени (например, каждые 7 дней) для борьбы с дрейфом. ## Где встречается - [[391…

• wikiSlack webhook

  # Slack webhook ## Определение Механизм отправки уведомлений в Slack без необходимости бота; используется для алертов о дрейфе метрик и постмортемах. ## Где…

• wikiversioned agents

  # versioned agents ## Определение Практика сохранения каждой версии агента (модель, промпты, конфигурация) для возможности быстрого отката при дрейфе поведения. ## Где встречается…

• wikiprompt adaptation

  # prompt adaptation ## Определение Динамическое изменение системного промпта агента для адаптации к новым условиям или дрейфу поведения без переобучения модели. ## Где…

• wikisemantic drift

  …Как вы измеряете дрейф модели (model drift) для LLM|177. Как вы измеряете дрейф модели (model drift) для LLM]] - [[800…

• wikiTool Drift

  …Как в Harness Engineering реализована эвалюация и дрейф (evaluation & drift)|748. Как в Harness Engineering реализована эвалюация и дрейф (evaluation…

• wikisequence mode

  # sequence mode ## Определение Режим оценки, измеряющий последовательную схожесть ответов модели на одинаковые запросы во времени, используемый для обнаружения дрейфа. ## Где…

• wikirolling baseline centroid

  …Как вы измеряете дрейф модели (model drift) для LLM|177. Как вы измеряете дрейф модели (model drift) для LLM]] - [[800…

• wikistatistical distance

  …Как вы мониторите дрейф данных (data drift) для RAG|74. Как вы мониторите дрейф данных (data drift) для RAG]] - [[800…

• wikiRecalibration

  …Как вы проектируете агента, который может работать непрерывно (247) без дрейфа поведения|391. Как вы проектируете агента, который может работать…

• wikidata drift

  …Как вы мониторите дрейф данных (data drift) для RAG|74. Как вы мониторите дрейф данных (data drift) для RAG]] - [[76…

• answerКак вы мониторите дрейф данных (data drift) для RAG?

  …В контексте [[Вики/гибридный поиск\|RAG]] [[Вики/drift\|дрейф]] может проявляться в двух местах: - **[[Вики/дрейф распределения запросов\|Дрейф запросов…

• wikiEWMA

  # EWMA ## Определение Экспоненциально взвешенное скользящее среднее — метод сглаживания временных рядов, используемый для уменьшения шума и детекции отклонений, например, дрейфа модели…

• wikiself-healing pipeline

  # self-healing pipeline ## Определение Архитектура пайплайна, включающая мониторинг, оценку и автоматическое восстановление, например, переключение на fallback-схему при обнаружении дрейфа…

• answerКак вы измеряете дрейф модели (model drift) для LLM?

  …Как вы измеряете дрейф модели (model drift) для LLM? ## Краткий тезис Дрейф LLM — это изменение поведения модели со временем, которое…

• wikiDriftDetector

  # DriftDetector ## Определение Инструмент или компонент для обнаружения дрейфа поведения агента, например, изменения ответов во времени. ## Где встречается - [[800+ вопросов|800…

• wikiAirflow

  …Как вы мониторите дрейф данных (data drift) для RAG|74. Как вы мониторите дрейф данных (data drift) для RAG]] - [[256…

• wikiembedding distribution

  …Как вы мониторите дрейф данных (data drift) для RAG|74. Как вы мониторите дрейф данных (data drift) для RAG]] - [[800…

• wikiAction Correctness

  …Как в Harness Engineering реализована эвалюация и дрейф (evaluation & drift)|748. Как в Harness Engineering реализована эвалюация и дрейф (evaluation…

• wikiинкрементальный расчёт

  …Настроить мониторинг дрейфа метрик|281. Настроить мониторинг дрейфа метрик]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

• wikiBERTopic

  …Как вы мониторите дрейф данных (data drift) для RAG|74. Как вы мониторите дрейф данных (data drift) для RAG]] ## Навигация…

• wikiEval runner

  …Как в Harness Engineering реализована эвалюация и дрейф (evaluation & drift)|748. Как в Harness Engineering реализована эвалюация и дрейф (evaluation…

• wikiScorer

  …Как в Harness Engineering реализована эвалюация и дрейф (evaluation & drift)|748. Как в Harness Engineering реализована эвалюация и дрейф (evaluation…

• wikiLDA

  …Как вы мониторите дрейф данных (data drift) для RAG|74. Как вы мониторите дрейф данных (data drift) для RAG]] ## Навигация…

• wikidrift retrieval-качества

  # drift retrieval-качества ## Определение Измерение изменения качества поиска документов в RAG со временем, вызванное обновлением документов или дрейфом распределения запросов…

• wikiOnline learning

  …Как вы проектируете агента, который может работать непрерывно (247) без дрейфа поведения|391. Как вы проектируете агента, который может работать…

• wikisnapshot mode

  …Как вы измеряете дрейф модели (model drift) для LLM|177. Как вы измеряете дрейф модели (model drift) для LLM]] - [[855…

• wikiProgressive Neural Networks

  …Как вы проектируете агента, который может работать непрерывно (247) без дрейфа поведения|391. Как вы проектируете агента, который может работать…

• wikiEvaluation

  …Как в Harness Engineering реализована эвалюация и дрейф (evaluation & drift)|748. Как в Harness Engineering реализована эвалюация и дрейф (evaluation…

• wikiRule-based classifier

  …Настроить мониторинг дрейфа метрик|281. Настроить мониторинг дрейфа метрик]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов…

• wikiFlywheel

  …Как в Harness Engineering реализована эвалюация и дрейф (evaluation & drift)|748. Как в Harness Engineering реализована эвалюация и дрейф (evaluation…

• wikidrift

  # drift ## Определение Изменение распределения данных или поведения модели со временем, приводящее к устареванию калибровки или снижению качества предсказаний. Требует регулярного…

• wikiJensen-Shannon divergence

  …Как вы проектируете агента, который может работать непрерывно (247) без дрейфа поведения|391. Как вы проектируете агента, который может работать…

• wikismoke tests

  …Как в Harness Engineering реализована эвалюация и дрейф (evaluation & drift)|748. Как в Harness Engineering реализована эвалюация и дрейф (evaluation…

• wikiПереиндексация

  …Как вы мониторите дрейф данных (data drift) для RAG|74. Как вы мониторите дрейф данных (data drift) для RAG]] - [[266…