Поиск

• wikiPost-hoc Calibration

  # Post-hoc Calibration ## Определение Методы калибровки вероятностей после обучения модели (Temperature Scaling, Platt Scaling), улучшающие калибровку на валидационном наборе. ## Где…

• wikiCalibration

  …Что такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)|348. Что такое calibration ошибок модели и…

• wikiMaximum Calibration Error

  # Maximum Calibration Error ## Определение Метрика калибровки модели, показывающая максимальное отклонение accuracy от confidence среди всех бинов. Полезна для выявления наихудшего…

• wikiReliability diagram

  …Что такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)|348. Что такое calibration ошибок модели и…

• wikiLLM calibration

  # LLM calibration ## Определение Настройка уверенности модели так, чтобы она соответствовала фактической точности; измеряется метриками ECE, MCE, Brier score. ## Где встречается…

• wikiisotonic regression

  …Что такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)|348. Что такое calibration ошибок модели и…

• wikitrust calibration

  # trust calibration ## Определение Trust calibration — согласование уверенности модели с доверием пользователя, чтобы пользователь правильно оценивал надежность ответов. ## Где встречается - [[Практика…

• wikiExpected Calibration Error

  # Expected Calibration Error ## Определение Метрика калибровки модели, измеряющая среднюю разницу между уверенностью (confidence) и точностью (accuracy) по бинам. ## Где встречается…

• wikiTorchMetrics

  # TorchMetrics ## Определение Библиотека PyTorch для оценки моделей, включающая метрики, такие как CalibrationError для расчёта Expected Calibration Error (ECE). ## Где встречается…

• wikiPlatt scaling

  …Что такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)|348. Что такое calibration ошибок модели и…

• wikioverconfidence

  …Что такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)|348. Что такое calibration ошибок модели и…

• wikiBrier score

  …Что такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)|348. Что такое calibration ошибок модели и…

• wikiaudience calibration

  # audience calibration ## Определение Адаптация ответа под аудиторию по уровню знаний и тону; когнитивная операция, требуемая в GIM. ## Где встречается - [[170…

• wikicalibration error

  # calibration error ## Определение Несоответствие между уверенностью модели и фактической точностью, измеряемое метриками ECE, MCE, Brier score. ## Где встречается - [[870. Как…

• wikiUnderconfidence

  …Что такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)|487. Что такое calibration ошибок модели и…

• wikicalibration dataset

  # calibration dataset ## Определение Небольшой набор данных (обычно 128–1024 примера), используемый для подбора параметров квантизации (GPTQ, AWQ) с целью минимизации…

• answerЧто такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)?

  …Calibration Error|Expected Calibration Error (ECE) — среднее отклонение по бинам, Maximum Calibration Error (MCE) — максимальное отклонение, и Brier score — среднеквадратичная…

• wikiannotator calibration

  # annotator calibration ## Определение Предварительное согласование правил разметки на нескольких примерах для обеспечения единообразия аннотаций. ## Где встречается - [[146. Реализовать golden dataset…

• answerЧто такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)?

  …Для количественной оценки калибровки используют метрики ECE (Calibration Error|Expected Calibration Error), MCE (Maximum Calibration Error) и Brier score. В…

• wikiCalibration RM

  # Calibration RM ## Определение Обучение reward model предсказывать калиброванные вероятности, например через Platt scaling, для уменьшения reward hacking. ## Где встречается - [[329…

• wikiCalibration queries

  # Calibration queries ## Определение Набор запросов для оценки распределения similarity векторов и выявления аномалий в векторных базах данных. ## Где встречается - [[889…

• wikiConfidence calibration error

  # Confidence calibration error ## Определение Мера расхождения между предсказанной моделью уверенностью и фактической точностью на выборке; используется для оценки калибровки. ## Где…

• answerЧто такое calibration для LLM и как её измерять (ECE)?

  …Другие метрики калибровки Помимо [[Вики/Expected Calibration Error\|ECE]] существуют: - **[[Вики/Maximum Calibration Error\|MCE]] ([[Вики/Maximum Calibration Error\|Maximum…

• wikiNatural Questions

  …Что такое calibration для LLM и как её измерять (ECE)|872. Что такое calibration для LLM и как её измерять…

• wikiTop-token confidence

  …Что такое calibration для LLM и как её измерять (ECE)|872. Что такое calibration для LLM и как её измерять…

• wikiConformal prediction

  …Что такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)|487. Что такое calibration ошибок модели и…

• wikiConfidence penalty

  …Что такое calibration для LLM и как её измерять (ECE)|872. Что такое calibration для LLM и как её измерять…

• wikiHuggingFace Evaluate

  …Что такое calibration для LLM и как её измерять (ECE)|872. Что такое calibration для LLM и как её измерять…

• wikiCalibratedClassifierCV

  …Что такое calibration в контексте reward model для RLHF|507. Что такое calibration в контексте reward model для RLHF]] ## Навигация…

• wikiUncertainty quantification

  …Что такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)|487. Что такое calibration ошибок модели и…

• wikiProbabilistic Output

  …Что такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)|348. Что такое calibration ошибок модели и…

• wikiSequence-level confidence

  …Что такое calibration для LLM и как её измерять (ECE)|872. Что такое calibration для LLM и как её измерять…

• wikiMurphy decomposition

  …Что такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)|487. Что такое calibration ошибок модели и…

• wikiHistogram binning

  …Что такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)|487. Что такое calibration ошибок модели и…

• wikiDeep Ensembles

  …Что такое calibration для LLM и как её измерять (ECE)|872. Что такое calibration для LLM и как её измерять…

• wikiSigmoid

  …Что такое calibration в контексте reward model для RLHF|507. Что такое calibration в контексте reward model для RLHF]] - [[665…

• answerКак вы калибруете вероятности LLM для classification задач?

  …Ключевая метрика — **Calibration Error|Expected Calibration Error (ECE)**, которая измеряет среднее расхождение между уверенностью модели и фактической точностью. --- ## 1. Термин…

• answerЧто такое calibration в контексте reward model для RLHF?

  …Что такое calibration в контексте reward model для RLHF? ## Краткий тезис **Calibration** (калибровка) в контексте reward model для RLHF — это…

• wikiTruthfulQA

  …Что такое calibration для LLM и как её измерять (ECE)|872. Что такое calibration для LLM и как её измерять…

• wikiMonte Carlo Dropout

  …Что такое calibration для LLM и как её измерять (ECE)|872. Что такое calibration для LLM и как её измерять…

• answerКак вы калибруете retrieval confidence для threshold-based filtering?

  …Идеальная [[Вики/Calibration\|калибровка]] — диагональ y=x. ### 4.2 Expected Calibration Error (ECE) Средневзвешенное отклонение от диагонали: \[ [[Вики/Expected Calibration…

• wikiConfidence bins

  # Confidence bins ## Определение Интервалы, на которые разбивается диапазон уверенности модели (0–1) для вычисления Expected Calibration Error (ECE). ## Где встречается…

• wikiтестовые промпты

  # тестовые промпты ## Определение Набор промптов, ответы на которые уникальны для каждой модели, используемый для идентификации модели (fingerprinting). ## Где встречается - [[619…

• wikilogits

  …Что такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)|348. Что такое calibration ошибок модели и…

• wikiкалибровка модели IRT

  # калибровка модели IRT ## Определение Процесс оценивания параметров вопросов (a, b, c) и способностей моделей (θ) с помощью MLE или байесовского…

• wikiTemperature

  …Что такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)|348. Что такое calibration ошибок модели и…

• answerЧто такое GIM (Grounded Integration Measure) и чем он отличается от GPQA?

  …4. **[[Вики/audience calibration\|Audience calibration]]** — [[Вики/multi-tenant\|пользователь]], вероятно, не профессиональный повар, поэтому нужны простые инструкции. Ожидаемое поведение…

• wikiKL penalty

  …Что такое calibration в контексте reward model для RLHF|507. Что такое calibration в контексте reward model для RLHF]] - [[530…

• wikiLost in the Middle

  …Что такое calibration для LLM и как её измерять (ECE)|872. Что такое calibration для LLM и как её измерять…

• answerЧто такое Positional bias в LLM-as-Judge и как его исправить?

  …пары (query, answer_a, answer_b, preferred_answer) calibration_data = [] for query, a, b, preferred in dataset: # Прямой порядок calibration…