Поиск
- wikiLabel Studio
…Как вы управляете качеством разметки (label quality) для DPO датасетов|261. Как вы управляете качеством разметки (label quality) для DPO…
- wikiAdjudication
…Как вы управляете качеством разметки (label quality) для DPO датасетов|516. Как вы управляете качеством разметки (label quality) для DPO…
- wikiCross-validation annotators
…Как вы управляете качеством разметки (label quality) для DPO датасетов|516. Как вы управляете качеством разметки (label quality) для DPO…
- wikiAccuracy on goldenset
…Как вы управляете качеством разметки (label quality) для DPO датасетов|516. Как вы управляете качеством разметки (label quality) для DPO…
- wikiAmazon SageMaker Ground Truth
…Как вы управляете качеством разметки (label quality) для DPO датасетов|516. Как вы управляете качеством разметки (label quality) для DPO…
- wikiProdigy
…Как вы управляете качеством разметки (label quality) для DPO датасетов|516. Как вы управляете качеством разметки (label quality) для DPO…
- wikiactive learning
…Как вы управляете качеством разметки (label quality) для DPO датасетов|261. Как вы управляете качеством разметки (label quality) для DPO…
- wikiDeliberative consensus
…Как вы управляете качеством разметки (label quality) для DPO датасетов|261. Как вы управляете качеством разметки (label quality) для DPO…
- wikiExpert arbitration
…Как вы управляете качеством разметки (label quality) для DPO датасетов|261. Как вы управляете качеством разметки (label quality) для DPO…
- wikiKrippendorff's Alpha
…Как вы управляете качеством разметки (label quality) для DPO датасетов|261. Как вы управляете качеством разметки (label quality) для DPO…
- wikiConsensus
…Как вы управляете качеством разметки (label quality) для DPO датасетов|261. Как вы управляете качеством разметки (label quality) для DPO…
- wikiFleiss' Kappa
…Как вы управляете качеством разметки (label quality) для DPO датасетов|261. Как вы управляете качеством разметки (label quality) для DPO…
- wikiConfusion matrix
…Как вы управляете качеством разметки (label quality) для DPO датасетов|516. Как вы управляете качеством разметки (label quality) для DPO…
- wikiPrecision/Recall
…Как вы управляете качеством разметки (label quality) для DPO датасетов|261. Как вы управляете качеством разметки (label quality) для DPO…
- wikiCohen's Kappa
…Как вы управляете качеством разметки (label quality) для DPO датасетов|261. Как вы управляете качеством разметки (label quality) для DPO…
- answerКак вы управляете качеством разметки (label quality) для DPO датасетов?
…Как вы управляете качеством разметки (label quality) для DPO датасетов? ## Краткий тезис Качество разметки — критический фактор успеха **DPO (Direct Preference…
- wikiWin rate
…Как вы управляете качеством разметки (label quality) для DPO датасетов|261. Как вы управляете качеством разметки (label quality) для DPO…
- wikiData Quality
…Что такое weak supervision для разметки данных для fine-tuning и как его применить|258. Что такое weak supervision для…
- wikiEdit distance
…Как вы управляете качеством разметки (label quality) для DPO датасетов|261. Как вы управляете качеством разметки (label quality) для DPO…
- wikiInter-annotator agreement
…Как вы управляете качеством разметки (label quality) для DPO датасетов|516. Как вы управляете качеством разметки (label quality) для DPO…
- answerКак вы управляете качеством разметки (label quality) для DPO датасетов?
…Как вы управляете качеством разметки (label quality) для DPO датасетов? ## Краткий тезис Качество разметки в DPO-датасетах критически важно, потому…
- wikiOutlier detection
…Как вы управляете качеством разметки (label quality) для DPO датасетов|261. Как вы управляете качеством разметки (label quality) для DPO…
- wikiLabel quality
# Label quality ## Определение Общее понятие управления качеством разметки данных, включающее процессы обеспечения согласованности, точности и надёжности меток. Критично для DPO…
- wikiData augmentation
…Как вы управляете качеством разметки (label quality) для DPO датасетов|261. Как вы управляете качеством разметки (label quality) для DPO…
- wikimultiple annotators
…краудсорсинг) для сбора оценок или разметки данных. Позволяет уменьшить индивидуальные смещения и повысить качество данных. ## Где встречается - [[871. Как делать…
- wikiGoldenset
…Как вы управляете качеством разметки (label quality) для DPO датасетов|261. Как вы управляете качеством разметки (label quality) для DPO…
- wikiLLM-as-a-judge
…Как вы управляете качеством разметки (label quality) для DPO датасетов|261. Как вы управляете качеством разметки (label quality) для DPO…
- wikireward hacking
…Как вы управляете качеством разметки (label quality) для DPO датасетов|261. Как вы управляете качеством разметки (label quality) для DPO…
- wikiBERT
…Как вы оцениваете качество language representation для задачи|192. Как вы оцениваете качество language representation для задачи]] - [[324. Что такое…
- answerКак работает weak supervision для synthetic данных (создание правил разметки)?
…вместо ручной разметки 1000 примеров мы получаем 30 000 размеченных с приемлемым качеством. --- ## 8. Инструменты для weak supervision | Инструмент | Описание…
- wikianswer_exact_match
…Как вы оцениваете качество после fine-tuning|25. Как вы оцениваете качество после fine-tuning]] - [[34. Какая у вас была…
- answerЧто такое weak supervision для разметки данных для fine-tuning и как его применить?
…Как вы управляете качеством разметки (label quality) для DPO датасетов\|261]] | Synthetic data generation (LLM as judge) | | [[256. Как вы…
- answerЧто такое weak supervision для разметки данных для fine-tuning и как его применить?
…Как вы управляете качеством разметки (label quality) для DPO датасетов\|516]] | Programmatic labeling: автоматическая разметка | | [[517. Как вы проектируете feature…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать golden dataset для агента
…Разработать 100 пар «входной запрос → trajectory|ожидаемая траектория агента (последовательность действий, вызовы инструментов, наблюдения)» и обеспечить согласованность разметки между аннотаторами…
- wikiROUGE
…Как вы управляете качеством разметки (label quality) для DPO датасетов|261. Как вы управляете качеством разметки (label quality) для DPO…
- wikiDirect Preference Optimization
…Как вы управляете качеством разметки (label quality) для DPO датасетов|516. Как вы управляете качеством разметки (label quality) для DPO…
- wikiSynthetic dataset
…Как вы оцениваете качество синтетических данных (Self-consistency, LLM-as-Judge)|682. Как вы оцениваете качество синтетических данных (Self-consistency…
- wikifine-tuning
…Как вы оцениваете качество генерации в RAG. Назовите 3 ключевые метрики.|16. Как вы оцениваете качество генерации в RAG. Назовите…
- wikireranking
…Как вы оцениваете качество генерации в RAG. Назовите 3 ключевые метрики.|16. Как вы оцениваете качество генерации в RAG. Назовите…
- answerКак работает process reward model (PRM) vs outcome reward model (ORM)?
…PRM сложнее в обучении (требует пошаговой разметки), но позволяет эффективнее направлять [[Вики/Reinforcement Learning\|reinforcement learning]] (RL) в задачах, требующих…
- answerКак вы генерируете synthetic данные для instruction tuning?
…Как вы управляете качеством разметки (label quality) для DPO датасетов\|516]] | Как fine-tune LLM на synthetic data? | | [[517. Как…
- wikidata drift
…Как вы управляете качеством разметки (label quality) для DPO датасетов|261. Как вы управляете качеством разметки (label quality) для DPO…
- wikigold standard
…Как вы управляете качеством разметки (label quality) для DPO датасетов|516. Как вы управляете качеством разметки (label quality) для DPO…
- answerЧто такое active learning для сбора синтетических данных?
…примеров | По неуверенности модели | Случайный | | Стоимость разметки | Ниже (меньше примеров) | Выше (больше примеров) | | Качество модели | Выше при том же бюджете…
- answerКак вы отслеживаете data drift для распределения запросов к RAG?
…Как вы управляете качеством разметки (label quality) для DPO датасетов\|516]] | Как вы проводите A/B тестирование изменений в RAG…
- answerЧто такое Layout-Aware Chunking и как он связан с мультимодальностью?
…Layout-Aware Chunking [[Вики/Layout-Aware Chunking\|Layout-Aware Chunking]] ([[Вики/chunking\|разбиение]] с учётом разметки) — метод разделения документа на…
- answerКак вы измеряете inter-rater reliability для human evaluation?
…В **human evaluation** (оценка человеком) IRR служит индикатором качества разметки: высокая IRR означает, что критерии оценки объективны и понятны, низкая…
- answerКак вы измеряете drift retrieval-качества в RAG (когда документы меняются)?
…Более точная, но требует разметки с несколькими уровнями релевантности. Сравнение метрик для мониторинга дрейфа | Метрика | Чувствительность к дрейфу | Сложность разметки…
- answerКак вы делаете synthetic data для multi-turn диалогов (агентов)?
…Такой подход позволяет создать [[Вики/dataset\|датасет]] для дообучения или тестирования агентных систем без дорогой ручной разметки. --- ## 1. Зачем нужен…
- answerКак вы оцениваете качество синтетических данных? (Self-consistency, LLM-as-Judge)
…Как вы оцениваете качество синтетических данных? (Self-consistency, LLM-as-Judge) ## Краткий тезис Оценка качества синтетических данных — критический этап, позволяющий…