Поиск

• wikicoordination metrics

  # coordination metrics ## Определение Метрики для оценки взаимодействия агентов в мультиагентной системе, включающие количество коллабораций, успешность выполнения задач и латентность. ## Где…

• wikiRED metrics

  # RED metrics ## Определение Метрики для мониторинга production-сервисов на LLM: Rate (частота запросов), Errors (количество ошибок), Duration (задержка). Позволяют оценить…

• wikiproxy metrics

  # proxy metrics ## Определение Показатели, коррелирующие с реальным поведением, но не являющиеся прямым измерением; помогают избежать overfitting на бенчмарках. ## Где встречается…

• wikiPosition-aware metrics

  # Position-aware metrics ## Определение Класс метрик, учитывающих порядок документов в выдаче; критичны для RAG, так как LLM видит только top…

• wikiRetrieval metrics

  # Retrieval metrics ## Определение Метрики оценки качества поиска (например, recall, precision), обязательные в CI для обнаружения деградации retrieval. ## Где встречается - [[800…

• wikistructured loss metrics

  # structured loss metrics ## Определение Метрики для оценки качества парсинга структурированных элементов документов (заголовков, таблиц, списков) в формате потерь, применяемые при…

• wikiAARRR metrics

  # AARRR metrics ## Определение Модель воронки (Acquisition, Activation, Retention, Revenue, Referral) для анализа онбординга пользователей. ## Где встречается - [[89. Спроектировать onboarding для…

• wikiPath-level metrics

  # Path-level metrics ## Определение Набор метрик для оценки маршрута агента, включая корректность вызова инструментов, последовательность шагов и эффективность. Используются в…

• wikisklearn.metrics

  # sklearn.metrics ## Определение Модуль библиотеки scikit-learn с функциями для вычисления метрик классификации, регрессии и ранжирования (например, accuracy, precision, recall…

• wikicustom metrics

  # custom metrics ## Определение Пользовательские метрики, используемые совместно с OpenTelemetry для измерения затрат по компонентам и масштабирования подов. ## Где встречается - [[800…

• wikisklearn.metrics.ndcg_score

  # sklearn.metrics.ndcg_score ## Определение Функция из sklearn.metrics для расчёта Normalized Discounted Cumulative Gain (NDCG) @K. Используется для оценки…

• wikiUX metrics

  # UX metrics ## Определение Числовые показатели успешности интерфейса, такие как время замечания индикатора и точность интерпретации, используемые для оценки диалоговых систем…

• wikiMetrics

  # Metrics ## Определение Количественные показатели производительности LLM-системы, такие как задержка, количество токенов и частота ошибок; собираются для observability. ## Где встречается…

• wikiquery metrics

  # query metrics ## Определение Совокупность метрик, отслеживающих изменение распределения входящих запросов для обнаружения дрейфа данных. ## Где встречается - [[800+ вопросов|800+ вопросов…

• wikidownstream metrics

  # downstream metrics ## Определение Метрики на целевых задачах, используемые для оценки качества модели; их падение при росте proxy reward сигнализирует о…

• wikidrift metrics

  # drift metrics ## Определение Метрики для обнаружения изменений в поведении агента со временем. Используются для мониторинга дрейфа качества. ## Где встречается - [[800…

• wikifairness metrics

  # fairness metrics ## Определение Метрики для оценки предвзятости и равноправия решений агентов, проверяющие отсутствие дискриминации по защищённым группам. ## Где встречается - [[800…

• wikiCorrelation Metrics

  # Correlation Metrics ## Определение Метрики, измеряющие корреляцию между различными показателями системы, например, между задержкой retrieval и генерации. ## Где встречается - [[Практика|Практика…

• wikiEnd-to-end metrics

  # End-to-end metrics ## Определение Результаты оценки системы AI, включаемые в system cards. ## Где встречается - [[800+ вопросов|800+ вопросов]] ## Навигация…

• wikibase metrics

  # base metrics ## Определение Набор ключевых метрик, используемых для оценки производительности модели; деградация более чем на 5% служит триггером для отката…

• wikiquality metrics

  # quality metrics ## Определение Метрики для мониторинга качества ответов модели в production, используемые в canary deployment и других сценариях развёртывания. ## Где…

• wikicustom-metrics-apiserver

  # custom-metrics-apiserver ## Определение Компонент, преобразующий метрики Prometheus в Custom Metrics API Kubernetes для использования HPA. ## Где встречается - [[825. Что…

• wikimetrics-driven testing

  # metrics-driven testing ## Определение Подход к тестированию, основанный на проверке значений счётчиков метрик для оценки корректности поведения системы. ## Где встречается…

• wikikube-state-metrics

  # kube-state-metrics ## Определение Экспортёр метрик состояния объектов Kubernetes, используемый для мониторинга и автоматического масштабирования. ## Где встречается - [[74. Настроить auto…

• wikiCustom Metrics API

  # Custom Metrics API ## Определение API Kubernetes, используемое HPA для получения кастомных метрик (GPU utilization, queue length). ## Где встречается - [[192. Настроить…

• wikihigh-cardinality metrics

  # high-cardinality metrics ## Определение Метрики с высокой кардинальностью — метрики, имеющие большое количество уникальных значений (например, user_id), что создаёт проблемы…

• wikiLLM evaluation metrics

  # LLM evaluation metrics ## Определение Количественные показатели для оценки качества ответов LLM, такие как точность, релевантность, уверенность. Используются для управления привилегиями…

• wikimetrics-server

  # metrics-server ## Определение Аддон для minikube, собирающий метрики использования ресурсов (CPU, память) для Pod'ов и узлов. ## Где встречается - [[825…

• wikicode coverage metrics

  # code coverage metrics ## Определение Совокупность показателей, оценивающих полноту тестирования кода (например, строк, ветвлений). В контексте агентов обсуждается траекторное покрытие как…

• wikiMetricsPort

  # MetricsPort ## Определение Компонент платформы Harness, предоставляющий HTTP-сервер для экспорта метрик в форматах Prometheus и OpenTelemetry. ## Где встречается - [[754. Как…

• wikiFaithfulness metrics

  # Faithfulness metrics ## Определение Набор метрик для оценки фактической точности ответа относительно контекста, включая RAGAS Faithfulness. ## Где встречается - [[368. Как вы…

• wikimetrics counters

  # metrics counters ## Определение Счётчики метрик, инкрементируемые при наступлении событий (например, actions_confirmed_total), используемые для мониторинга и тестирования. ## Где встречается…

• wikihistogram_quantile

  …Настроить RED metrics для LLM|24. Настроить RED metrics для LLM]] - [[27. Настроить tail latency amplification мониторинг|27. Настроить tail…

• wikiCounter

  …Настроить RED metrics для LLM|24. Настроить RED metrics для LLM]] - [[109. Настроить cost tracking для агента|109. Настроить cost…

• wikiPromQL

  …Настроить RED metrics для LLM|24. Настроить RED metrics для LLM]] - [[27. Настроить tail latency amplification мониторинг|27. Настроить tail…

• wikiscrape

  …Настроить RED metrics для LLM|24. Настроить RED metrics для LLM]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…

• wikitarget UP

  …Настроить RED metrics для LLM|24. Настроить RED metrics для LLM]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…

• wikicollaboration_total

  …Настроить coordination metrics|295. Настроить coordination metrics]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

• wikiqueue.Queue

  …Настроить coordination metrics|295. Настроить coordination metrics]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

• wikicollaboration_success_rate

  …Настроить coordination metrics|295. Настроить coordination metrics]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

• wikiNTP

  …Настроить coordination metrics|295. Настроить coordination metrics]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

• wikihost.docker.internal

  …Настроить coordination metrics|295. Настроить coordination metrics]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

• wikicollaboration_latency_ms

  …Настроить coordination metrics|295. Настроить coordination metrics]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

• wikiattention metrics

  # attention metrics ## Определение Веса внимания после softmax, используемые для оценки важности токенов; применяются при сжатии контекста или атрибуции влияния отдельных…

• wikiHistogram

  …Настроить RED metrics для LLM|24. Настроить RED metrics для LLM]] - [[26. Реализовать SLO для faithfulness|26. Реализовать SLO для…

• wikiMetric exporter

  …Настроить coordination metrics|295. Настроить coordination metrics]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

• wikipull-based

  …Настроить RED metrics для LLM|24. Настроить RED metrics для LLM]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…

• wikiApache Bench

  …Настроить RED metrics для LLM|24. Настроить RED metrics для LLM]] - [[99. Написать postmortem для cache stampede|99. Написать postmortem…

• wikiCumulative Gain

  …Как вы оцениваете retrieval с учетом позиции (Position-aware metrics)|379. Как вы оцениваете retrieval с учетом позиции (Position-aware…

• wikiIdeal DCG

  …Как вы оцениваете retrieval с учетом позиции (Position-aware metrics)|379. Как вы оцениваете retrieval с учетом позиции (Position-aware…