Поиск

• wikimeta-evaluation

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[800+ вопросов|800+ вопросов]] ## Навигация…

• wikiadversarial filtering

  # adversarial filtering ## Определение Создание контрпримеров для проверки, использует ли модель shortcuts вместо истинного конструкта, применяется в meta-evaluation. ## Где встречается…

• answerЧто такое meta-evaluation бенчмарков (оценка оценки)?

  …Что такое meta-evaluation бенчмарков (оценка оценки)? ## Краткий тезис [[Вики/meta-evaluation\|Meta-evaluation]] ([[Вики/meta-evaluation\|оценка оценки]]) — это…

• answerЧто такое meta-evaluation бенчмарков (оценка оценки)?

  …Определение meta-evaluation и зачем она нужна [[Вики/meta-evaluation\|Meta-evaluation]] ([[Вики/meta-evaluation\|оценка оценки]]) — это набор методов…

• wikisaturation gap

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikicontent validity

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikishortcuts

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikiconfounding factors

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikiRGB

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikiKILT

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikibenchmark overfitting

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikicriterion validity

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikiitem difficulty distribution

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikiWebArena

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikiconstruct validity

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[800+ вопросов|800+ вопросов]] ## Навигация…

• wikiBIG-bench

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikiAgentBench

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[874. Как оценивать multi-step…

• wikidiminishing returns

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[699. Как вы оцениваете, сколько…

• wikiPearson correlation

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[800+ вопросов|800+ вопросов]] - [[30…

• wikilm-evaluation-harness

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[68. Настроить inference-time scaling…

• wikireliability

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[575. Как работает hierarchical planning…

• wikiMS MARCO

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[44. Настроить query expansion|44…

• wikiGoodhart's law

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikiPass@k

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[689. Как вы проектируете dynamic…

• wikiHellaSwag

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[655. Что такое SwiGLU и…

• wikiHumanEval

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[596. Как работает model stealing…

• wikihelm

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[783. Как сравнивать cost efficiency…

• wikifairness scheduling

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[509. Как вы сравниваете две…

• wikiSpearman correlation

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[508. Как вы оцениваете faithfulness…

• wikiGSM8K

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[637. Что такое Chain-of…

• wikiconsistency

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[530. Как вы делаете data…

• wikiMMLU

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[596. Как работает model stealing…

• wikiCalibration

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[507. Что такое calibration в…

• wikiутечка данных

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[503. Как вы измеряете drift…

• wikiAnswer relevance

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[504. Как вы оцениваете cost…

• wikiTemperature

  …Что такое meta-evaluation бенчмарков (оценка оценки)|498. Что такое meta-evaluation бенчмарков (оценка оценки)]] - [[543. Как работает Whisper архитектурно…

• answerКак вы оцениваете alignment модели с человеческими ценностями без gold standard?

  …Что такое meta-evaluation бенчмарков (оценка оценки)\|346]] | Как оценивать alignment агента в динамической среде? | | [[348. Что такое calibration ошибок…

• answerКак вы проектируете red teaming evaluation для jailbreak устойчивости?

  …Что такое meta-evaluation бенчмарков (оценка оценки)\|346]] | Prompt injection detection | --- ## Навигация (Obsidian) - Предыдущий: [[344. Что такое reward hacking в…

• answerКак вы проектируете red teaming evaluation для jailbreak устойчивости?

  …Что такое meta-evaluation бенчмарков (оценка оценки)\|498]] | Какие метрики вы используете для оценки faithfulness? | | [[499. Как вы оцениваете alignment…

• answerКак вы оцениваете alignment модели с человеческими ценностями без gold standard?

  …Что такое meta-evaluation бенчмарков (оценка оценки)\|498]] | Как оценивать качество agentic RAG без gold standard? | | [[500. Как вы измеряете…

• answerЧто такое synthetic eval collapse и как его предотвратить?

  …Что такое meta-evaluation бенчмарков (оценка оценки)\|498]] | Human evaluation vs автоматические метрики | | [[499. Как вы оцениваете alignment модели с…

• answerКак детектировать reward hacking в RLHF?

  …Что такое meta-evaluation бенчмарков (оценка оценки)\|346]] | Как оценивать качество reward model | | 870 | Как оценивать RAG-системы (аналогия с…

• answerЧто такое reward hacking в RLHF и как его детектировать?

  …Что такое meta-evaluation бенчмарков (оценка оценки)\|346]] | Как обучать reward model для RLHF? | | [[347. Как вы оцениваете alignment модели…

• answerЧто такое reward correlation и как ее измерять?

  …Что такое meta-evaluation бенчмарков (оценка оценки)\|498]] | В чём разница между PPO и DPO? | | [[499. Как вы оцениваете alignment…

• indexИндекс разборов

  …Что такое meta-evaluation бенчмарков (оценка оценки)\|346. Что такое meta-evaluation бенчмарков (оценка оценки)?]] - [[347. Как вы оцениваете alignment…

• indexОглавление

  …Что такое meta-evaluation бенчмарков (оценка оценки)\|346. Что такое meta-evaluation бенчмарков (оценка оценки)?]] - [[Вопросы/Ответы/347. Как вы…

• indexПРАКТИЧЕСКИЙ ЧЕКЛИСТ: СТАFF+ AI SYSTEMS ENGINEERING

  …223 | | 345 | Red teaming | Q 148, H 102 | | 346 | Meta-evaluation | Q 146 | | 347 | Alignment evaluation | Q 146, H 102…

• wikiИндекс терминов

  …Messages API|Messages API]] - [[Вики/MessageTransport|MessageTransport]] - [[Вики/meta-evaluation|meta-evaluation]] - [[Вики/meta-learning|meta-learning]] - [[Вики/meta-llamaLlama…

• question_bankЧАСТЬ 1: RAG-СИСТЕМЫ (20 вопросов)

  …Что такое meta-evaluation бенчмарков (оценка оценки)?** > *Ответ:* Проверка, что бенчмарк измеряет то, что нужно. Методы: correlation с реальным качеством…