RUEN中文
…

Поиск

  • wikiPosition bias

    # Position bias ## Определение Склонность LLM-as-Judge предпочитать ответы в определённой позиции (например, первый в паре), что искажает оценку; детектируется…

  • wikistyle bias

    # style bias ## Определение Склонность модели-оценщика (LLM-as-judge) предпочитать ответы, оформленные в определённом стиле (например, формальном или структурированном), что…

  • wikiVerbosity bias

    # Verbosity bias ## Определение Систематическая ошибка LLM-as-Judge, при которой более длинные ответы оцениваются выше, даже если они менее информативны…

  • wikiinductive biases

    # inductive biases ## Определение Что такое индуктивные biases трансформеров ## Где встречается - [[668. Что такое индуктивные biases трансформеров (positional invariance, order sensitivity…

  • answerПочему LLM-as-Judge может быть biased? Назовите 3 основных bias и как их детектировать.

    …Три основных [[Вики/Position bias\|bias]]: [[Вики/Position bias\|position bias]] (предпочтение первого ответа в паре), [[Вики/Self-enhancement bias…

  • wikiFamiliarity bias

    # Familiarity bias ## Определение Склонность модели предпочитать ответы, похожие на её обучающие данные. ## Где встречается - [[486. Почему LLM-as-Judge может…

  • answerКак вы измеряете и исправляете bias в LLM-as-Judge (self-enhancement, position, verbosity)?

    …Однако LLM-судьи подвержены систематическим ошибкам ([[Вики/Position bias\|bias]]): [[Вики/Self-enhancement bias\|self-enhancement bias]] (склонность завышать оценки…

  • wikiSelf-enhancement bias

    # Self-enhancement bias ## Определение Склонность LLM-судьи завышать оценку ответов, сгенерированных той же моделью, по сравнению с ответами других моделей…

  • wikimultiple judges

    …Почему LLM-as-Judge может быть biased Назовите 3 основных bias и как их детектировать.]] - [[493. Что такое Positional bias…

  • wikicentral tendency bias

    # central tendency bias ## Определение Склонность аннотатора избегать крайних оценок, выбирать ничью или средние варианты. ## Где встречается - [[333. Что такое preference…

  • wikiposition bias ratio

    # position bias ratio ## Определение Доля случаев, когда LLM-as-Judge выбирает первый вариант в паре; показатель наличия position bias, используется…

  • wikiBias Rate

    …Что такое Positional bias в LLM-as-Judge и как его исправить|493. Что такое Positional bias в LLM-as…

  • wikileniency bias

    # leniency bias ## Определение Систематическая ошибка аннотатора, склонного ставить завышенные или заниженные оценки при сборе предпочтений. Влияет на качество данных для…

  • wikiswap-test

    # swap-test ## Определение Метод детекции position bias в LLM-as-Judge с помощью перестановки ответов и сравнения оценок. ## Где встречается…

  • answerКаковы 3 главных bias-эффекта LLM-as-Judge и как их детектировать?

    …Однако такие судьи подвержены систематическим смещениям ([[Вики/Position bias\|bias]]). Три ключевых эффекта: [[Вики/Position bias\|self-enhancement bias]] ([[Вики…

  • wikifatigue bias

    # fatigue bias ## Определение Систематическая ошибка, вызванная усталостью аннотатора, проявляющаяся в снижении внимания к концу сессии. Увеличивает количество случайных ответов и…

  • wikianchoring bias

    # anchoring bias ## Определение Склонность при оценке привязываться к первому увиденному ответу, что искажает последующие сравнения в сборе данных предпочтений (preference…

  • wikiиндуктивный bias

    # индуктивный bias ## Определение Предположения, которые модель делает о данных, влияющие на обобщение. Например, свойство трансформеров лучше обобщать на новые структуры…

  • wikiCorrelation analysis

    # Correlation analysis ## Определение Метод выявления взаимосвязей между метриками, используемый для диагностики смещений (например, verbosity bias) и анализа метрик системы. ## Где…

  • answerЧто такое Positional bias в LLM-as-Judge и как его исправить?

    …bias|Positional bias — один из самых распространённых. --- ## 2. Positional bias: определение и причины [[Вики/Position bias\|Positional bias]] — это тенденция…

  • answerЧто такое индуктивные biases трансформеров? (positional invariance, order sensitivity)?

    …Другие индуктивные biases трансформеров Помимо перечисленных, в архитектуре есть и другие biases: - [[Вики/Attention\|Self-attention]] [[Вики/bias\|bias]] каждый…

  • wikiT5 relative bias

    # T5 relative bias ## Определение Относительное позиционное кодирование с фиксированным окном, используемое в модели T5. ## Где встречается - [[278. Как работает RoPE…

  • wikiUser bias

    # User bias ## Определение Систематическое отклонение оценок конкретного пользователя от среднего значения. Корректируется с помощью калибровки, например, через pairwise сравнения, чтобы…

  • wikipost-hoc correction

    …Как вы измеряете и исправляете bias в LLM-as-Judge (self-enhancement, position, verbosity)|343. Как вы измеряете и исправляете…

  • answerКак работает LLM-as-judge и почему он biased?

    …Такой подход позволяет автоматизировать оценку качества генерации, но страдает от ряда систематических смещений ([[Вики/Position bias\|bias]]): [[Вики/Position bias…

  • answerЧто такое preference data collection и как минимизировать bias в сравнениях?

    …Основные источники [[Вики/Position bias\|bias]] (систематических ошибок) в сравнениях — это [[Вики/Position bias\|position bias]] (влияние порядка показа), [[Вики…

  • wikiCognitive bias

    # Cognitive bias ## Определение Когнитивные искажения — систематические ошибки мышления, которые учитываются при проектировании онбординга агентов для улучшения восприятия и снижения негативных…

  • wikibias amplification

    # bias amplification ## Определение Усиление существующих систематических ошибок модели в процессе обучения на синтетических данных (synthetic data collapse). ## Где встречается - [[688…

  • wikiPreference tuning

    # Preference tuning ## Определение Метод обучения модели на человеческих предпочтениях, часто с использованием рандомизированного порядка для избежания bias. ## Где встречается - [[493…

  • wikiMT-Bench

    …Почему LLM-as-Judge может быть biased Назовите 3 основных bias и как их детектировать.]] - [[493. Что такое Positional bias…

  • wikipositional invariance

    …Является одним из индуктивных biases трансформеров. ## Где встречается - [[668. Что такое индуктивные biases трансформеров (positional invariance, order sensitivity)|668. Что…

  • wikiself-judge

    # self-judge ## Определение Режим, при котором LLM оценивает собственные ответы, что может усиливать смещение самоподкрепления (self-enhancement bias). ## Где встречается…

  • wikiRandom swap

    …Что такое Positional bias в LLM-as-Judge и как его исправить|493. Что такое Positional bias в LLM-as…

  • wikiCausal attention

    …Может способствовать positional bias при оценке. ## Где встречается - [[493. Что такое Positional bias в LLM-as-Judge и как его…

  • wikiWeights & Biases Prompts

    # Weights & Biases Prompts ## Определение Платформа для мониторинга и анализа генераций, упомянута как средство отладки. ## Где встречается - [[198. Какие ограничения у…

  • wikiBag-of-words bias

    # Bag-of-words bias ## Определение Ограничение модели CLIP, при котором она не учитывает порядок слов в предложении, что может приводить…

  • wikiconfirmation bias

    # confirmation bias ## Определение Когнитивное искажение, при котором агенты склонны искать подтверждения, а не опровержения; одна из причин coherence illusion. ## Где…

  • wikirubric-based evaluation

    …Уменьшает bias по сравнению с общей оценкой. ## Где встречается - [[343. Как вы измеряете и исправляете bias в LLM-as-Judge…

  • wikiCalibration

    …Почему LLM-as-Judge может быть biased Назовите 3 основных bias и как их детектировать.|486. Почему LLM-as-Judge…

  • wikiaggregation

    # aggregation ## Определение Метод объединения результатов нескольких запусков или вычисление статистик (среднее, скользящее среднее) на окне для уменьшения bias и расчёта…

  • wikiAlpacaEval

    …Почему LLM-as-Judge может быть biased Назовите 3 основных bias и как их детектировать.|486. Почему LLM-as-Judge…

  • wikiRelative Position Encoding

    …Что такое индуктивные biases трансформеров (positional invariance, order sensitivity)|668. Что такое индуктивные biases трансформеров (positional invariance, order sensitivity)]] - [[800…

  • answerЧто такое pairwise comparison vs scalar rating? Когда что использовать?

    …например, вычесть персональное [[Вики/bias\|смещение]] ([[Вики/User bias\|user bias]]) из всех оценок. **Термин «[[Вики/User bias\|user bias…

  • wikibias

    # bias ## Определение Систематическое отклонение в оценках или предсказаниях модели, которое может усиливаться при обучении на синтетических данных или через RLHF…

  • wikiPruning heads

    …Что такое индуктивные biases трансформеров (positional invariance, order sensitivity)|668. Что такое индуктивные biases трансформеров (positional invariance, order sensitivity)]] ## Навигация…

  • wikiCohen's Kappa

    …Почему LLM-as-Judge может быть biased Назовите 3 основных bias и как их детектировать.|486. Почему LLM-as-Judge…

  • wikipreference data collection

    …Ключевой этап RLHF, подверженный субъективности и bias. ## Где встречается - [[36. Что такое DPO (Direct Preference Optimization) и чем отличается от…

  • wikiPairwise comparison

    …Почему LLM-as-Judge может быть biased Назовите 3 основных bias и как их детектировать.|486. Почему LLM-as-Judge…

  • wikifatigue curve

    …Что такое preference data collection и как минимизировать bias в сравнениях|333. Что такое preference data collection и как минимизировать…

  • wikicontrast effect

    …Что такое preference data collection и как минимизировать bias в сравнениях|333. Что такое preference data collection и как минимизировать…