Поиск

• wikiHuman evaluation

  # Human evaluation ## Определение Оценка качества результатов модели с привлечением людей-экспертов. Рекомендуется для критичных кейсов и является эталоном для проверки…

• wikiHuman evaluation costs

  # Human evaluation costs ## Определение Затраты на оплату аннотаторов для проведения human evaluation. Является дорогим, но необходимым компонентом оценки faithfulness и…

• wikihuman-in-the-loop

  …Как вы измеряете inter-rater reliability для human evaluation|492. Как вы измеряете inter-rater reliability для human evaluation]] - [[493…

• wikiKrippendorff's Alpha

  …Как вы измеряете inter-rater reliability для human evaluation|492. Как вы измеряете inter-rater reliability для human evaluation]] - [[800…

• wikiGwet's AC1

  …Как вы измеряете inter-rater reliability для human evaluation|492. Как вы измеряете inter-rater reliability для human evaluation]] ## Навигация…

• wikiPercent agreement

  …Как вы измеряете inter-rater reliability для human evaluation|492. Как вы измеряете inter-rater reliability для human evaluation]] ## Навигация…

• answerКак работает мультимодальная эвалюация (MEGA, MM-Vet) для VL-моделей?

  …Human evaluation vs Automatic evaluation | Критерий | Human Evaluation | Automatic Evaluation | |----------|------------------|----------------------| | Скорость | Медленно (часы/дни) | Быстро (секунды) | | Стоимость | Высокая (оплата аннотаторов…

• wikiWeighted Kappa

  …Как вы измеряете inter-rater reliability для human evaluation|492. Как вы измеряете inter-rater reliability для human evaluation]] - [[277…

• wikipairwise ranking loss

  …подкреплением» (RLHF evaluation) и как она отличается от обычной]] - [[326. Как работает RLHF (Reinforcement Learning from Human Feedback) технически|326…

• wikiHumanEval

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[596. Как работает model stealing…

• wikilm_evaluation_harness

  # lm_evaluation_harness ## Определение Библиотека для унифицированного запуска бенчмарков (GSM8K, MATH, HumanEval) на различных моделях. ## Где встречается - [[210. Сравнить GPTQ…

• answerКак вы проверяете, что RLHF не сломал базовые способности модели?

  …Периодическое тестирование во время RLHF Каждые N шагов (например, 100 шагов [[Вики/Proximal Policy Optimization\|PPO]]) повторяем [[Вики/Evaluation\|evaluation…

• answerКак вы оцениваете качество после fine-tuning?

  …Human evaluation (оценка человеком) [[Вики/human-in-the-loop\|Human evaluation]] — привлечение людей-аннотаторов для оценки качества ответов. Незаменима для…

• wikiReinforcement Learning from Human Feedback

  …Как вы измеряете inter-rater reliability для human evaluation|492. Как вы измеряете inter-rater reliability для human evaluation]] - [[493…

• answerКак вы измеряете и исправляете bias в LLM-as-Judge (self-enhancement, position, verbosity)?

  …judge\|оценка LLM]] своих ответов минус средняя [[Вики/Evaluation\|оценка]] human. [[Вики/revision\|Исправление]] - Использовать анонимизацию (скрыть источник ответа). - Применять…

• wikiPairwise comparison

  …Как работает RLHF (Reinforcement Learning from Human Feedback) технически|326. Как работает RLHF (Reinforcement Learning from Human Feedback) технически]] - [[486…

• answerЧто такое meta-evaluation бенчмарков (оценка оценки)?

  …robustness, fairness | Включает meta-evaluation через correlation с human judgment | | [[Вики/lm-evaluation-harness\|LM Evaluation Harness]] | Запуск бенчмарков с…

• answerЧем отличается эвалюация LLM от эвалюации традиционных ML моделей?

  …Поэтому оценка LLM требует evaluator-based подхода (LLM-as-judge, human evaluation), анализа трендов через эксперименты и не имеет автоматического…

• wikiloguru

  …Реализовать human-in-the-loop для критических действий|82. Реализовать human-in-the-loop для критических действий]] - [[86. Реализовать user…

• wikiMM-Vet

  # MM-Vet ## Определение Бенчмарк для мультимодальных VL-моделей с human evaluation по трём уровням: correctness, helpfulness, conciseness. ## Где встречается - [[560…

• wikiAlpaca

  …подкреплением» (RLHF evaluation) и как она отличается от обычной]] - [[326. Как работает RLHF (Reinforcement Learning from Human Feedback) технически|326…

• answerКак вы измеряете inter-rater reliability для human evaluation?

  …Что такое statistical power evaluation и как определять размер выборки для AB теста\|491]] | Как вы проводите human evaluation для…

• answerЧто такое synthetic eval collapse и как его предотвратить?

  …Что такое meta-evaluation бенчмарков (оценка оценки)\|498]] | Human evaluation vs автоматические метрики | | [[499. Как вы оцениваете alignment модели с…

• answerКак вы оцениваете faithfulness без ground truth (если нет правильного ответа)?

  …Посчитайте корреляцию каждого метода с human judgement (Spearman). Ожидаемый результат - Таблица с точностью каждого метода относительно human evaluation. - Вывод о…

• answerЧто такое benchmark chasing и почему это опасно?

  …Human evaluation: как организовать **Gold standard** — это оценка человеком. Этапы: 1. Сбор репрезентативной выборки (100–500 запросов из production). 2…

• wikiFleiss' Kappa

  …Как вы измеряете inter-rater reliability для human evaluation|492. Как вы измеряете inter-rater reliability для human evaluation]] - [[496…

• wikiinter-rater reliability

  # inter-rater reliability ## Определение Метрика согласованности между оценщиками при human evaluation, важная для получения надёжных качественных метрик при A/B…

• wikiGPT-2

  …Как работает RLHF (Reinforcement Learning from Human Feedback) технически|326. Как работает RLHF (Reinforcement Learning from Human Feedback) технически]] - [[336…

• wikiLikert scale

  # Likert scale ## Определение Шкала для субъективной оценки качества ответов, например от 1 до 5, используемая в human evaluation. ## Где встречается…

• answerКак проводить safety case для LLM системы (аналог safety case в авиации)?

  …формулируется Claim (утверждение о безопасности), собирается Evidence (результаты [[Вики/red teaming\|red teaming]], метрики, [[Вики/Human evaluation\|human evaluation]], [[Вики…

• answerЧто такое «оценка с подкреплением» (RLHF evaluation) и как она отличается от обычной?

  …Что такое «оценка с подкреплением» (RLHF evaluation) и как она отличается от обычной? ## Краткий тезис [[Вики/Reinforcement Learning from Human…

• answerЧто такое agent evaluation метрика: successful task completion rate vs step efficiency?

  …Семантическая аннотация успеха — возможна автоматическая [[Вики/Check\|проверка]] (например, ответ содержит требуемые поля) или [[Вики/Human evaluation\|ручная разметка]] ([[Вики…

• wikisafety alignment

  …Как вы проектируете red teaming evaluation для jailbreak устойчивости|345. Как вы проектируете red teaming evaluation для jailbreak устойчивости]] - [[352…

• answerЧто такое reward hacking в RLHF и как его детектировать?

  …human evaluation и adversarial probing ### 5.1 Human evaluation на holdout-сете Самый надёжный способ — привлечь людей для оценки ответов…

• answerЧто такое reward correlation и как ее измерять?

  …Почему reward correlation критична для RLHF [[Вики/Reinforcement Learning from Human Feedback\|RLHF]] ([[Вики/Reinforcement Learning from Human Feedback\|Reinforcement…

• wikiKL divergence

  …Как работает RLHF (Reinforcement Learning from Human Feedback) технически|326. Как работает RLHF (Reinforcement Learning from Human Feedback) технически]] - [[332…

• answerКак детектировать reward hacking в RLHF?

  …снижение разнообразия") ``` ### 3.3 Human evaluation на holdout Самый надёжный, но дорогой метод. На отложенном наборе примеров (не использованных для…

• answerПочему LLM-as-Judge может быть biased? Назовите 3 основных bias и как их детектировать.

  …Scale\|Масштабирование]]: [[Вики/human-in-the-loop\|ручная оценка]] ([[Вики/human-in-the-loop\|human evaluation]]) дорога и медленна. - Автоматизация…

• wikiCohen's Kappa

  …Как вы измеряете inter-rater reliability для human evaluation|492. Как вы измеряете inter-rater reliability для human evaluation]] - [[495…

• wikiuser satisfaction

  …Что такое agent evaluation метрика successful task completion rate vs step efficiency]] - [[762. Что такое «эскалация человеку» (human escalation) и…

• answerКак вы проектируете red teaming evaluation для jailbreak устойчивости?

  …Human Evaluation Автоматические метрики не идеальны. Некоторые атаки могут быть распознаны только человеком. [[Вики/human-in-the-loop\|Human evaluation…

• answerКак вы проектируете бенчмарк для нового домена (медицина, юриспруденция)?

  …Как вы измеряете inter-rater reliability для human evaluation\|492]] | Как проводить human evaluation для RAG? | | [[486. Почему LLM-as…

• wikiConsensus

  …Как вы измеряете inter-rater reliability для human evaluation|492. Как вы измеряете inter-rater reliability для human evaluation]] - [[493…

• answerЧто такое reward hacking в RLHF и как его детектировать?

  …TruthfulQA, HellaSwag) после каждой эпохи RL. - [[Вики/human-in-the-loop\|Human evaluation]] — регулярная разметка сэмплов из текущей политики. **Формула…

• wikiProximal Policy Optimization

  …Как работает RLHF (Reinforcement Learning from Human Feedback) технически|326. Как работает RLHF (Reinforcement Learning from Human Feedback) технически]] - [[328…

• answerЧто такое meta-evaluation бенчмарков (оценка оценки)?

  …1. [[Вики/Human evaluation\|Экспертная оценка]]: группа специалистов (лингвистов, психологов, ML-инженеров) анализирует каждое задание и определяет, какие когнитивные навыки…

• answerЧто такое EU AI Act и как оно влияет на деплой LLM в production?

  …5. **[[Вики/human-in-the-loop\|Human oversight]]** — возможность человека отменить или пересмотреть решение модели. 6. **[[Вики/accuracy\|Accuracy]], [[Вики…

• wikiметаданные

  …Как вы измеряете inter-rater reliability для human evaluation|492. Как вы измеряете inter-rater reliability для human evaluation]] - [[520…

• wikiDirect Preference Optimization

  …Как работает RLHF (Reinforcement Learning from Human Feedback) технически|326. Как работает RLHF (Reinforcement Learning from Human Feedback) технически]] - [[330…

• answerКак вы A/B тестируете две версии промпта в production?

  …Как вы организуете human evaluation для LLM-систем\|139]] | Human evaluation как компонент A/B теста | --- ## 12. Навигация (Obsidian) - Предыдущий…