RUEN中文
…

Поиск

  • wikiContamination rate

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] ## Навигация - [[00. Индекс…

  • wikiContamination Detection Toolkit

    # Contamination Detection Toolkit ## Определение Python-библиотека для обнаружения утечки данных (data contamination) в оценочных датасетах с помощью методов MIA и…

  • wikiLM Contamination

    # LM Contamination ## Определение Инструмент от OpenAI для проверки n-граммового перекрытия с обучающими данными GPT-3, используемый для детекции загрязнения…

  • wikin-gram overlap

    # n-gram overlap ## Определение Метод обнаружения contamination (засорения) данных путём измерения перекрытия n-грамм между тестовым и обучающим наборами; порог…

  • wikiLiveBench

    # LiveBench ## Определение Динамический бенчмарк для LLM, который еженедельно обновляется на основе свежих новостей, чтобы избежать data contamination и обеспечить объективную…

  • wikiperplexity anomaly

    …Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)|693. Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)]] - [[869…

  • wikiутечка данных

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[488. Что такое…

  • wikianti-contamination

    # anti-contamination ## Определение Меры по предотвращению попадания тестовых данных в обучающий набор, чтобы оценивать модели на невиденных ранее вопросах. ## Где…

  • wikidynamic benchmark

    # dynamic benchmark ## Определение Бенчмарк, который меняется со временем (например, автоматическая генерация новых вопросов) для уменьшения риска утечки тестовых данных (contamination…

  • wikimembership inference attack

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[351. Как работает…

  • answerКак вы детектируете data contamination в evaluation датасетах?

    …Оценка степени contamination: метрики Для количественной оценки [[Вики/утечка данных\|contamination]] используют: - [[Вики/Contamination rate\|Contamination rate]] — [[Вики/stake\|доля…

  • wikiThe Pile

    # The Pile ## Определение Большой открытый корпус текстов для предобучения языковых моделей; включает задачи из бенчмарков, что может приводить к contamination…

  • wikicanonical perturbations

    …Что такое benchmark contamination и как ее детектировать|488. Что такое benchmark contamination и как ее детектировать]] ## Навигация - [[00. Индекс…

  • wikicross-contamination

    # cross-contamination ## Определение Проблема в обучении упакованных последовательностей (packing), когда модель может использовать информацию из соседних последовательностей из-за несовершенной…

  • wikiskip-grams

    …Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)|693. Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)]] ## Навигация…

  • wikiWIMBD

    …Как избежать benchmark contamination (когда модель видела тестовые данные)|869. Как избежать benchmark contamination (когда модель видела тестовые данные)]] ## Навигация…

  • wikiLikelihood Ratio Attack

    # Likelihood Ratio Attack ## Определение Продвинутая атака membership inference, основанная на вычислении отношения правдоподобия с помощью теневых моделей для обнаружения contamination…

  • wikicanary examples

    …Добавляются в обучающую выборку для выявления утечки данных (data contamination) при оценке модели. ## Где встречается - [[869. Как избежать benchmark contamination…

  • answerЧто такое benchmark contamination и как ее детектировать?

    …Что такое benchmark contamination и как ее детектировать? ## Краткий тезис [[Вики/утечка данных\|Benchmark contamination]] — это ситуация, когда [[Вики/seed…

  • wikiGoogle C4 dataset

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[689. Как вы…

  • wikiperplexity analysis

    # perplexity analysis ## Определение Using model perplexity on evaluation samples to identify unusually low perplexity indicative of data contamination. ## Где встречается…

  • wikiHoldout set

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[391. Как вы…

  • wikilm-evaluation-harness

    # lm-evaluation-harness ## Определение Инструмент EleutherAI для унифицированного запуска бенчмарков, сбора статистики и проверки contamination при оценке LLM. ## Где встречается…

  • wikiMinHash

    …Что такое benchmark contamination и как ее детектировать|488. Что такое benchmark contamination и как ее детектировать]] - [[525. Как вы…

  • wikiLoss-based MIA

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] ## Навигация - [[00. Индекс…

  • wikiMathQA

    …Что такое benchmark contamination и как ее детектировать|488. Что такое benchmark contamination и как ее детектировать]] - [[64. Настроить self…

  • answerКак избежать benchmark contamination (когда модель видела тестовые данные)?

    …Как избежать benchmark contamination (когда модель видела тестовые данные)? ## Краткий тезис Benchmark contamination — это ситуация, когда модель при обучении или…

  • answerКак вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)?

    …Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)? ## Краткий тезис [[Вики/утечка данных\|Contamination]] ([[Вики/утечка данных\|загрязнение данных…

  • wikiAUC

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[81. Спроектировать uncertainty…

  • wikiARC

    …Что такое benchmark contamination и как ее детектировать|488. Что такое benchmark contamination и как ее детектировать]] ## Навигация - [[00. Индекс…

  • wikiCommon Crawl

    …Что такое benchmark contamination и как ее детектировать|488. Что такое benchmark contamination и как ее детектировать]] - [[689. Как вы…

  • wikistop words

    …Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)|693. Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)]] - [[44…

  • wikishadow model

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[357. Как работает…

  • wikiNLTK

    …Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)|693. Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)]] - [[95…

  • wikiOpenAI Evals

    …Что такое benchmark contamination и как ее детектировать|488. Что такое benchmark contamination и как ее детектировать]] - [[686. Как работает…

  • wikidata lineage

    …Как избежать benchmark contamination (когда модель видела тестовые данные)|869. Как избежать benchmark contamination (когда модель видела тестовые данные)]] - [[800…

  • wikiHellaSwag

    …Что такое benchmark contamination и как ее детектировать|488. Что такое benchmark contamination и как ее детектировать]] - [[498. Что такое…

  • wikiAlpacaEval

    …Что такое benchmark contamination и как ее детектировать|488. Что такое benchmark contamination и как ее детектировать]] - [[871. Как делать…

  • wikianswer_exact_match

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[488. Что такое…

  • wikiSQuAD

    …Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)|693. Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)]] - [[163…

  • wikispaCy

    …Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)|693. Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)]] - [[800…

  • wikiдатасеты

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[352. Что такое…

  • wikiBi-encoder

    …Как избежать benchmark contamination (когда модель видела тестовые данные)|869. Как избежать benchmark contamination (когда модель видела тестовые данные)]] - [[46…

  • wikiстатистическая значимость

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[399. Как вы…

  • wikiLoss

    …Как избежать benchmark contamination (когда модель видела тестовые данные)|869. Как избежать benchmark contamination (когда модель видела тестовые данные)]] - [[800…

  • wikiTraining Data Poisoning

    # Training Data Poisoning ## Определение Атака, при которой в обучающие данные внедряются вредоносные примеры, чтобы модель усвоила бэкдоры или неправильное поведение…

  • answerЧто такое benchmark chasing и почему это опасно?

    …четыре основные угрозы ### 2.1 Data contamination (загрязнение данных) [[Вики/n-gram overlap\|Data contamination]] — это когда данные, использованные для…

  • wikiGSM8K

    …Что такое benchmark contamination и как ее детектировать|488. Что такое benchmark contamination и как ее детектировать]] - [[498. Что такое…

  • wikitokenizer

    …Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)|693. Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)]] - [[800…

  • wikiPerplexity

    …Как вы детектируете data contamination в evaluation датасетах|350. Как вы детектируете data contamination в evaluation датасетах]] - [[351. Как работает…