RUEN中文
…

Поиск

  • wikilogit-based uncertainty

    # logit-based uncertainty ## Определение Метод оценки неопределённости LLM на основе логитов (выходов softmax). ## Где встречается - [[291. Как вы измеряете uncertainty…

  • wikiAleatoric uncertainty

    # Aleatoric uncertainty ## Определение Неустранимая неопределённость, вызванная шумом в данных или неоднозначностью запроса, которую нельзя уменьшить увеличением объёма данных. ## Где встречается…

  • wikiEpistemic uncertainty

    # Epistemic uncertainty ## Определение Неопределённость, возникающая из-за недостатка знаний модели (например, о редких фактах), в отличие от алеаторной неопределённости. ## Где…

  • wikiuncertainty UI

    # uncertainty UI ## Определение Design-паттерн для отображения неопределённости модели пользователю, влияющий на доверие и принятие решений. ## Где встречается - [[Практика|Практика…

  • answerКак вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)?

    …Uncertainty в LLM **Uncertainty** — мера того, насколько модель «не уверена» в своём ответе. Различают два типа: - [[Вики/Aleatoric uncertainty\|Aleatoric…

  • wikioutput_scores

    …Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)|291. Как вы измеряете uncertainty в ответах LLM…

  • answerКак вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)?

    …Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)? ## Краткий тезис Измерение [[Вики/confidence score\|uncertainty]] (неопределённости…

  • wikilogprobs

    # logprobs ## Определение Параметр OpenAI API, возвращающий log-вероятности токенов для вычисления uncertainty. ## Где встречается - [[291. Как вы измеряете uncertainty в…

  • wikiCascade Uncertainty Amplification

    # Cascade Uncertainty Amplification ## Определение Ошибки на ранних шагах агентного пайплайна накапливаются и усиливаются в многошаговых процессах, являясь одним из production…

  • wikiuncertainty sampling

    # uncertainty sampling ## Определение Стратегия active learning, при которой выбираются примеры, в которых модель наименее уверена, для последующей разметки или генерации…

  • wikiUncertainty quantification

    # Uncertainty quantification ## Определение Процесс оценки неопределённости предсказаний модели, важный для интерпретации вероятностей и калибровки. ## Где встречается - [[487. Что такое calibration…

  • wikiDeep Ensembles

    # Deep Ensembles ## Определение Обучение нескольких независимых моделей; усреднение предсказаний и разброс как uncertainty. ## Где встречается - [[291. Как вы измеряете uncertainty…

  • wikitoken-level confidence

    …Спроектировать uncertainty UI|81. Спроектировать uncertainty UI]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

  • wikisentence-level confidence

    …Спроектировать uncertainty UI|81. Спроектировать uncertainty UI]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

  • wikiMultiple sampling

    …Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)|291. Как вы измеряете uncertainty в ответах LLM…

  • wikicalibration error

    …Спроектировать uncertainty UI|81. Спроектировать uncertainty UI]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

  • wikisemantic entropy

    …Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)|291. Как вы измеряете uncertainty в ответах LLM…

  • wikiAUC

    …Спроектировать uncertainty UI|81. Спроектировать uncertainty UI]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

  • wikiLow confidence

    …Спроектировать uncertainty UI|81. Спроектировать uncertainty UI]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

  • wikimax probability

    …Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)|291. Как вы измеряете uncertainty в ответах LLM…

  • wikiMonte Carlo Dropout

    …Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)|291. Как вы измеряете uncertainty в ответах LLM…

  • wikiconfidence score

    …Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)|291. Как вы измеряете uncertainty в ответах LLM…

  • wikiensemble-based decoding

    …Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)|291. Как вы измеряете uncertainty в ответах LLM…

  • wikiSigmoid

    …Спроектировать uncertainty UI|81. Спроектировать uncertainty UI]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

  • wikiEntropy

    …Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)|291. Как вы измеряете uncertainty в ответах LLM…

  • wikiGemini

    …Спроектировать uncertainty UI|81. Спроектировать uncertainty UI]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

  • practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Спроектировать uncertainty UI

    …Ключевой результат Рабочий [[Вики/Prototype\|прототип]] / дизайн-документ [[Вики/uncertainty UI\|uncertainty UI]], протестированный на 5–7 пользователях, с измеренным…

  • wikiExpected Calibration Error

    …Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)|291. Как вы измеряете uncertainty в ответах LLM…

  • wikilow-confidence highlighting

    # low-confidence highlighting ## Определение Визуальное выделение ненадёжных частей вывода модели, позволяющее пользователю видеть участки с низкой уверенностью и корректировать доверие…

  • wikiGeneration confidence

    …Используется в RAG-системах для оценки uncertainty и повышения надежности. ## Где встречается - [[800+ вопросов|800+ вопросов]] ## Навигация - [[00. Индекс терминов…

  • wikiMurphy decomposition

    …reliability (надёжность), resolution (разрешение) и uncertainty (неопределённость), используемая для оценки калибровки вероятностных предсказаний. ## Где встречается - [[487. Что такое calibration ошибок…

  • wikiMargin Sampling

    # Margin Sampling ## Определение Стратегия uncertainty sampling в active learning, где выбираются образцы с наименьшей разницей между двумя самыми вероятными классами…

  • wikiPlatt scaling

    …Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)|291. Как вы измеряете uncertainty в ответах LLM…

  • wikiConfidence threshold

    # Confidence threshold ## Определение Заданное значение уверенности, ниже которого модель или агент воздерживается от ответа, запрашивает помощь или переключается на fallback…

  • answerЧто такое active learning для сбора синтетических данных?

    …Выбрать примеры, где модель неуверенна (uncertainty sampling) Применяется одна из стратегий [[Вики/uncertainty sampling\|uncertainty sampling]] (см. [[Вики/Partition\|раздел…

  • wikiSpearman correlation

    …Спроектировать uncertainty UI|81. Спроектировать uncertainty UI]] - [[255. Настроить correlation метрик|255. Настроить correlation метрик]] ## Навигация - [[00. Индекс терминов|Индекс…

  • answerЧто такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)?

    …Плохая [[Вики/Calibration\|калибровка]] ведёт к неверным решениям. - [[Вики/Evaluation\|Оценка качества]] [[Вики/Calibration\|Калибровка]] — один из аспектов [[Вики/Uncertainty…

  • wikiCalibration

    …Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)|291. Как вы измеряете uncertainty в ответах LLM…

  • practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать active learning loop

    …Реализовать функцию `compute_uncertainty([[Вики/probabilities\|probabilities]], [[Вики/Policy\|strategy]]='least_confidence')`: - `least_confidence`: `1 - max(prob)` - `[[Вики/margin\|margin…

  • wikiactive learning

    …Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)|291. Как вы измеряете uncertainty в ответах LLM…

  • wikiOpenAI API

    …Спроектировать uncertainty UI|81. Спроектировать uncertainty UI]] - [[86. Реализовать user feedback loop|86. Реализовать user feedback loop]] - [[88. Реализовать hallucination…

  • wikilogits

    …Спроектировать uncertainty UI|81. Спроектировать uncertainty UI]] - [[85. Спроектировать escalation system|85. Спроектировать escalation system]] - [[95. Написать runbook для synthetic…

  • wikiROUGE

    …Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)|291. Как вы измеряете uncertainty в ответах LLM…

  • wikiBLEU

    …Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)|291. Как вы измеряете uncertainty в ответах LLM…

  • wikiLlama

    …Спроектировать uncertainty UI|81. Спроектировать uncertainty UI]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

  • wikiTemperature

    …Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)|291. Как вы измеряете uncertainty в ответах LLM…

  • wikiLLM-as-a-judge

    …Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)|291. Как вы измеряете uncertainty в ответах LLM…

  • answerНазовите 7 production failure modes для agentic AI систем по PAEF (Pandey, 2026)?

    …Cascade Uncertainty Amplification (каскадное усиление неопределённости) Этот режим возникает в [[Вики/multi-step scenario\|multi-step]] пайплайнах, где каждый шаг…

  • practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Спроектировать escalation system (AI → Human при low confidence)

    …Heuristic penalty за маркеры неуверенности uncertainty_keywords = ['maybe', 'perhaps', 'i think', 'i guess', 'наверное'] penalty = sum(kw in response.lower…

  • answerКак вы детектируете и удаляете низкокачественные примеры из синтетического датасета?

    …Uncertainty и энтропия как индикатор шума Если пример сгенерирован [[Вики/GPT-4o\|LLM]], можно использовать [[Вики/confidence score\|uncertainty]] самой…