Поиск

wikisynthetic eval datasets
# synthetic eval datasets ## Определение Синтетически созданные наборы данных для оценки производительности agentic workflows, имитирующие реальное взаимодействие пользователя с агентом. ## Где…
wikidataset
# dataset ## Определение Коллекция примеров (например, пар инструкция-ответ) для обучения или оценки модели. ## Где встречается - [[38. Как вы fine-tune…
wikiHuggingFace dataset
# HuggingFace dataset ## Определение Формат и источник датасетов на Hugging Face Hub, используемый для загрузки и обработки данных при fine-tuning…
wikiGoldenset
…Что такое «golden dataset» для агента и как его создавать|786. Что такое «golden dataset» для агента и как его…
wikiTraining dataset
# Training dataset ## Определение Снапшот данных на конкретную дату, создаваемый из feature groups с point-in-time join в Hopsworks. ## Где…
wikiдатасеты
# датасеты ## Определение Наборы данных (например, из Hugging Face Datasets), используемые для регрессионного тестирования, загрузки, обработки и fine-tuning LLM. ## Где…
wikiGoogle C4 dataset
# Google C4 dataset ## Определение Крупный публичный датасет, полученный очисткой веб-корпуса Common Crawl. Применяется для претренировки LLM и проверки перекрытия…
wikidataset diversity
# dataset diversity ## Определение Мера разнообразия примеров в датасете, используемая как целевая метрика при генерации синтетических данных или оценке качества выборки…
wikiannotator
# annotator ## Определение Человек, создающий эталонные размеченные данные (например, траектории для golden dataset). ## Где встречается - [[146. Реализовать golden dataset для агента…
wikidataset format
# dataset format ## Определение Структура данных, определяющая порядок хранения примеров для обучения модели, например для задач function call или instruction tuning…
wikiPG-19 dataset
# PG-19 dataset ## Определение Тестовый датасет длинных контекстов: PG-19 ## Где встречается - [[51. Развернуть Mamba-2 локально|51. Развернуть Mamba…
wikiallowed variations
# allowed variations ## Определение Разрешение нескольких альтернативных правильных траекторий (путей) для одного запроса в golden dataset при оценке агентов. ## Где встречается…
wikiVisual Prompt Injection Dataset
# Visual Prompt Injection Dataset ## Определение Датасет, содержащий примеры визуальных промпт-инъекций для тестирования защитных механизмов VL-моделей. ## Где встречается - [[621…
wikifailure cases
# failure cases ## Определение Примеры ошибочных сценариев (негативные примеры), добавляемые в golden dataset для проверки устойчивости системы к ошибкам. ## Где встречается…
wikiComparison Dataset
# Comparison Dataset ## Определение Датасет, содержащий тройки (prompt, ответ_A, ответ_B, метка), используемый для обучения модели вознаграждения (reward model) на…
wikicalibration dataset
# calibration dataset ## Определение Небольшой набор данных (обычно 128–1024 примера), используемый для подбора параметров квантизации (GPTQ, AWQ) с целью минимизации…
wikiproduction logs
…Как проектировать golden dataset для agent evaluation|880. Как проектировать golden dataset для agent evaluation]] - [[800+ вопросов|800+ вопросов]] ## Навигация…
wikiGolden path
# Golden path ## Определение Минимально необходимая последовательность действий агента для правильного ответа, фиксируемая в golden dataset для оценки path coverage и…
wikiData versioning
…Как проектировать golden dataset для agent evaluation|880. Как проектировать golden dataset для agent evaluation]] - [[800+ вопросов|800+ вопросов]] - [[57…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Конвертировать датасет из JSONL в Parquet
…Ожидаемый результат Основной артефакт Репозиторий (или папка) со следующими файлами: - `[[Вики/dataset\|dataset]].[[Вики/JSONL\|jsonl]]` — исходный [[Вики/dataset\|датасет…
wikiLabel Studio
…Как проектировать golden dataset для agent evaluation|880. Как проектировать golden dataset для agent evaluation]] - [[146. Реализовать golden dataset для…
answerЧто такое «golden dataset» для агента и как его создавать?
…Что такое «golden dataset» для агента и как его создавать? ## Краткий тезис **[[Вики/Goldenset\|Golden dataset]]** для агента — это размеченный…
wikisemantic comparison
…Реализовать golden dataset для агента|146. Реализовать golden dataset для агента]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…
wikiagreement matrix
…Реализовать golden dataset для агента|146. Реализовать golden dataset для агента]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…
wikistep embeddings
…Реализовать golden dataset для агента|146. Реализовать golden dataset для агента]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…
wikiannotator calibration
…Реализовать golden dataset для агента|146. Реализовать golden dataset для агента]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…
wikiraw trajectory
…Реализовать golden dataset для агента|146. Реализовать golden dataset для агента]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…
wikiAgent-Eval
…Как делать synthetic eval datasets для agentic workflows|875. Как делать synthetic eval datasets для agentic workflows]] ## Навигация - [[00. Индекс…
wikibinary metric
…Реализовать golden dataset для агента|146. Реализовать golden dataset для агента]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…
wikiCUAD
# CUAD ## Определение CUAD (Contract Understanding Atticus Dataset) — открытый датасет размеченных юридических договоров, предназначенный для задач понимания контрактов. ## Где встречается - [[298…
wikisequence alignment
…Реализовать golden dataset для агента|146. Реализовать golden dataset для агента]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…
wikiinstructor
…Как делать synthetic eval datasets для agentic workflows|875. Как делать synthetic eval datasets для agentic workflows]] ## Навигация - [[00. Индекс…
answerКак проектировать golden dataset для agent evaluation?
…Golden dataset (золотой стандарт) **[[Вики/Goldenset\|Golden dataset]]** — это вручную или полуавтоматически размеченный [[Вики/dataset\|набор данных]], который считается истиной…
wikiAction F1
…Что такое «golden dataset» для агента и как его создавать|786. Что такое «golden dataset» для агента и как его…
wikipairwise agreement
…Реализовать golden dataset для агента|146. Реализовать golden dataset для агента]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов…
wikiNo-leakage
…Как проектировать golden dataset для agent evaluation|880. Как проектировать golden dataset для agent evaluation]] ## Навигация - [[00. Индекс терминов|Индекс…
wikiClass balance
…Как проектировать golden dataset для agent evaluation|880. Как проектировать golden dataset для agent evaluation]] ## Навигация - [[00. Индекс терминов|Индекс…
wikiOpenAI SDK
…Как делать synthetic eval datasets для agentic workflows|875. Как делать synthetic eval datasets для agentic workflows]] ## Навигация - [[00. Индекс…
wikinext step accuracy
…Как делать synthetic eval datasets для agentic workflows|875. Как делать synthetic eval datasets для agentic workflows]] ## Навигация - [[00. Индекс…
wikiTrajectory Exact Match
…Что такое «golden dataset» для агента и как его создавать|786. Что такое «golden dataset» для агента и как его…
wikiFinal Answer Match
…Что такое «golden dataset» для агента и как его создавать|786. Что такое «golden dataset» для агента и как его…
wikiStep accuracy
…Как проектировать golden dataset для agent evaluation|880. Как проектировать golden dataset для agent evaluation]] - [[65. Реализовать process reward model…
wikiexpected trajectory
…Как делать synthetic eval datasets для agentic workflows|875. Как делать synthetic eval datasets для agentic workflows]] - [[800+ вопросов|800…
wikitask templates
…Как делать synthetic eval datasets для agentic workflows|875. Как делать synthetic eval datasets для agentic workflows]] ## Навигация - [[00. Индекс…
wikiConflict resolution
…Реализовать golden dataset для агента|146. Реализовать golden dataset для агента]] - [[293. Настроить conflict resolution между агентами|293. Настроить conflict…
wikiJSONL
…Что такое «golden dataset» для агента и как его создавать|786. Что такое «golden dataset» для агента и как его…
wikiState space exploration
…Как делать synthetic eval datasets для agentic workflows|875. Как делать synthetic eval datasets для agentic workflows]] - [[800+ вопросов|800…
wikitrajectory accuracy
…Как делать synthetic eval datasets для agentic workflows|875. Как делать synthetic eval datasets для agentic workflows]] - [[65. Реализовать process…
wikicoverage-driven generation
…Как делать synthetic eval datasets для agentic workflows|875. Как делать synthetic eval datasets для agentic workflows]] ## Навигация - [[00. Индекс…
answerКак вы комбинируете реальные и синтетические данные для максимального качества?
…Пример кода на [[Вики/SQL\|Python]] для смешивания батчей: ```python from datasets import Dataset, interleave_datasets import torch from torch…