RUEN中文
…

Поиск

  • wikiContamination Detection Toolkit

    # Contamination Detection Toolkit ## Определение Python-библиотека для обнаружения утечки данных (data contamination) в оценочных датасетах с помощью методов MIA и…

  • wikiContamination rate

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] ## Навигация - [[00. Индекс…

  • wikiутечка данных

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[488. Что такое…

  • wikiLM Contamination

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] ## Навигация - [[00. Индекс…

  • wikiLiveBench

    # LiveBench ## Определение Динамический бенчмарк для LLM, который еженедельно обновляется на основе свежих новостей, чтобы избежать data contamination и обеспечить объективную…

  • wikin-gram overlap

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[488. Что такое…

  • wikiGoogle C4 dataset

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[689. Как вы…

  • wikiperplexity analysis

    # perplexity analysis ## Определение Using model perplexity on evaluation samples to identify unusually low perplexity indicative of data contamination. ## Где встречается…

  • wikiHoldout set

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[391. Как вы…

  • wikiLikelihood Ratio Attack

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[602. Как работает…

  • wikicanary examples

    …Добавляются в обучающую выборку для выявления утечки данных (data contamination) при оценке модели. ## Где встречается - [[869. Как избежать benchmark contamination…

  • wikianti-contamination

    # anti-contamination ## Определение Меры по предотвращению попадания тестовых данных в обучающий набор, чтобы оценивать модели на невиденных ранее вопросах. ## Где…

  • wikimembership inference attack

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[351. Как работает…

  • answerКак вы детектируете data contamination в evaluation датасетах?

    …Как вы детектируете data contamination в evaluation датасетах? ## Краткий тезис [[Вики/утечка данных\|Data contamination]] (или [[Вики/утечка данных\|data…

  • wikiWIMBD

    …Как избежать benchmark contamination (когда модель видела тестовые данные)|869. Как избежать benchmark contamination (когда модель видела тестовые данные)]] ## Навигация…

  • wikiLoss-based MIA

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] ## Навигация - [[00. Индекс…

  • wikiAUC

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[81. Спроектировать uncertainty…

  • wikidata lineage

    …Как вы проектируете data lineage для RAG (от документа к ответу)]] - [[869. Как избежать benchmark contamination (когда модель видела тестовые…

  • wikiMinHash

    …Как вы делаете data quality monitoring для RAG корпуса]] - [[488. Что такое benchmark contamination и как ее детектировать|488. Что…

  • answerКак избежать benchmark contamination (когда модель видела тестовые данные)?

    …Benchmark Contamination [[Вики/утечка данных\|Benchmark contamination]] (также известная как **[[Вики/утечка данных\|data leakage]]** или **[[Вики/n-gram overlap…

  • answerЧто такое benchmark contamination и как ее детектировать?

    …сет). [[Вики/утечка данных\|Contamination]] — частный случай [[Вики/утечка данных\|data leakage]]. --- ## 3. Методы детекции contamination ### 3.1 N-gram…

  • answerКак вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)?

    …Data contamination (загрязнение данных) [[Вики/утечка данных\|Data contamination]] — это нежелательное пересечение между обучающей и тестовой выборками. В контексте [[Вики…

  • wikishadow model

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[357. Как работает…

  • wikiOpenAI Evals

    …Что такое benchmark contamination и как ее детектировать]] - [[686. Как работает synthetic data для RLHF (предпочтения)|686. Как работает synthetic…

  • wikiNLTK

    …Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)]] - [[95. Написать runbook для synthetic data collapse|95. Написать runbook для…

  • wikiдатасеты

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[352. Что такое…

  • wikispaCy

    …Как вы делаете data quality monitoring для RAG корпуса]] - [[693. Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)|693…

  • wikiHellaSwag

    …Что такое benchmark contamination и как ее детектировать|488. Что такое benchmark contamination и как ее детектировать]] - [[498. Что такое…

  • wikiSQuAD

    …Что такое data augmentation для LLM (back-translation, paraphrasing, masking)]] - [[693. Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми…

  • wikiTraining Data Poisoning

    # Training Data Poisoning ## Определение Атака, при которой в обучающие данные внедряются вредоносные примеры, чтобы модель усвоила бэкдоры или неправильное поведение…

  • wikianswer_exact_match

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[488. Что такое…

  • wikiстатистическая значимость

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[399. Как вы…

  • wikiLoss

    …Как избежать benchmark contamination (когда модель видела тестовые данные)|869. Как избежать benchmark contamination (когда модель видела тестовые данные)]] - [[800…

  • wikiSynthetic dataset

    # Synthetic dataset ## Определение Искусственно созданный набор данных, сгенерированный с помощью LLM или других методов, используемый для обучения, fine-tuning или…

  • answerЧто такое benchmark chasing и почему это опасно?

    …четыре основные угрозы ### 2.1 Data contamination (загрязнение данных) [[Вики/n-gram overlap\|Data contamination]] — это когда данные, использованные для…

  • wikiscikit-learn

    …Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)|693. Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)]] - [[699…

  • wikiData parallelism

    …Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…

  • wikiOverfitting

    …Что такое data augmentation для LLM (back-translation, paraphrasing, masking)|683. Что такое data augmentation для LLM (back-translation, paraphrasing…

  • wikiModel Poisoning

    …Что такое data poisoning атака на fine-tuning и как защититься|356. Что такое data poisoning атака на fine-tuning…

  • wikiduplicate detection

    …Как вы делаете data quality monitoring для RAG корпуса|275. Как вы делаете data quality monitoring для RAG корпуса]] - [[357…

  • wikiMMLU

    …Что такое benchmark contamination и как ее детектировать|488. Что такое benchmark contamination и как ее детектировать]] - [[489. Что такое…

  • wikiGSM8K

    …Что такое benchmark contamination и как ее детектировать|488. Что такое benchmark contamination и как ее детектировать]] - [[498. Что такое…

  • wikiPerplexity

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[351. Как работает…

  • answerКак вы проектируете dynamic benchmark (меняющийся со временем)?

    …dataset\|датасет]], только [[Вики/API\|API]]), **[[Вики/secret rotation\|ротация]]** вопросов с ограниченным сроком жизни и [[Вики/anti-contamination\|анти…

  • wikiforward pass

    …Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.|203. Tensor parallelism vs pipeline parallelism vs data…

  • wikiSFT

    …Что такое benchmark contamination и как ее детектировать|488. Что такое benchmark contamination и как ее детектировать]] - [[489. Что такое…

  • answerЧто такое meta-evaluation бенчмарков (оценка оценки)?

    …Основные проблемы бенчмарков, которые выявляет meta-evaluation | Проблема | Описание | Пример | |----------|----------|--------| | [[Вики/n-gram overlap\|Data contamination]] (утечка данных) | Тестовые примеры…

  • wikireward model

    …Как работает synthetic data для RLHF (предпочтения)|686. Как работает synthetic data для RLHF (предпочтения)]] - [[693. Как вы обнаруживаете contamination…

  • wikiFew-shot examples

    …Как вы делаете synthetic data generation для редких классов в датасете|523. Как вы делаете synthetic data generation для редких…

  • answerЧто такое synthetic eval collapse и как его предотвратить?

    …пользователи начинают задавать вопросы по-новому). - [[Вики/утечка данных\|Data contamination]] — если синтетические примеры случайно попали в обучающую выборку, [[Вики…