Поиск
- wikiIntra-cluster diversity
# Intra-cluster diversity ## Определение Разнообразие примеров внутри одного кластера, измеряющее их вариативность. ## Где встречается - [[690. Как вы измеряете diversity синтетического…
- wikiInter-cluster diversity
# Inter-cluster diversity ## Определение Различие между разными классами или кластерами, используемое для оценки разнообразия синтетических датасетов. ## Где встречается - [[690. Как…
- answerКак вы измеряете diversity синтетического датасета?
…Как вы измеряете diversity синтетического датасета? ## Краткий тезис **[[Вики/diversity\|Diversity]]** ([[Вики/diversity\|разнообразие]]) синтетического датасета — критическая характеристика, определяющая, насколько…
- wikiEmbedding diversity
# Embedding diversity ## Определение Метрика разнообразия датасета, основанная на кластеризации эмбеддингов. Обычно вычисляется как среднее попарное косинусное расстояние между эмбеддингами ответов…
- wikiIntra-session diversity
# Intra-session diversity ## Определение Показатель повторяемости ответов внутри одной сессии, отслеживающий разнообразие выводов агента. ## Где встречается - [[800+ вопросов|800+ вопросов…
- wikidiversity
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] - [[696. Что такое active learning для сбора…
- wikiloss of diversity
# loss of diversity ## Определение Явление, при котором синтетические данные теряют разнообразие: редкие варианты ответов исчезают, что ведёт к деградации модели…
- wikiSemantic diversity
# Semantic diversity ## Определение Метрика, оценивающая разнообразие тем в наборе данных через среднее попарное расстояние между эмбеддингами. ## Где встречается - [[800+ вопросов…
- wikidataset diversity
# dataset diversity ## Определение Мера разнообразия примеров в датасете, используемая как целевая метрика при генерации синтетических данных или оценке качества выборки…
- wikidiversity sampling
# diversity sampling ## Определение Стратегия отбора обучающих примеров, учитывающая их разнообразие для предотвращения дисбаланса и улучшения обобщающей способности модели. ## Где встречается…
- wikiLexical diversity
# Lexical diversity ## Определение Метрика лексического разнообразия текста, вычисляемая как отношение числа уникальных слов к общему количеству слов. Используется для оценки…
- wikiIntra-list diversity
# Intra-list diversity ## Определение Среднее попарное косинусное расстояние между эмбеддингами ответов внутри списка, используется для оценки креативности LLM. ## Где встречается…
- wikiKernel density estimation
…Применяется для измерения diversity синтетических датасетов. ## Где встречается - [[690. Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity…
- wikiDiversity bonus
# Diversity bonus ## Определение Дополнительное вознаграждение агенту за генерацию ответа, отличающегося от ответов других агентов, стимулирующее независимость и разнообразие решений. ## Где…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать Evol-Instruct для instruction tuning
…0..5}`. - Сопутствующие артефакты `diversity_report.md` с таблицей (round, [[Вики/diversity\|diversity]], ngram_diversity, % improvement), скрипты `evol_instruct.py…
- wikiDistribution Collapse
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] - [[800+ вопросов|800+ вопросов]] ## Навигация - [[00. Индекс…
- wikiElbow method
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
- answerКак вы детектируете Distribution Collapse у агента?
…Intra‑session diversity (внутрисессионное разнообразие) [[Вики/Intra-session diversity\|Intra‑session diversity]] — мера того, насколько ответы внутри одной сессии (диалога…
- wikiHDBSCAN
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
- wikiCluster ratio
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
- wikiCTGAN
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
- wikiHapax Legomena Ratio
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
- wikiPairwise distance
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
- wikiMATTR
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
- wikiVoronoi diagram
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
- wikiDavies–Bouldin Index
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
- wikiscipy.spatial.distance
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
- wikiGAN
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
- wikiN-gram novelty
# N-gram novelty ## Определение Метрика разнообразия сгенерированного текста, измеряющая долю уникальных n-грамм (например, 4-грамм). ## Где встречается - [[95. Написать…
- wikiNovelty
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
- wikisilhouette score
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] - [[245. RAG с semantic chunking|245. RAG…
- wikiFiD
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
- wikiClustering
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] - [[800+ вопросов|800+ вопросов]] - [[245. RAG с…
- answerЧто такое synthetic data collapse (когда синтетические данные деградируют со временем)?
…Она наследует [[Вики/bias\|bias]] и [[Вики/ошибки\|ошибки]] исходной модели, но теряет часть [[Вики/diversity\|diversity]] из-за ограниченного…
- wikigeneralization
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] - [[800+ вопросов|800+ вопросов]] ## Навигация - [[00. Индекс…
- wikiUMAP
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] - [[800+ вопросов|800+ вопросов]] - [[245. RAG с…
- wikiNLTK
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] - [[693. Как вы обнаруживаете contamination (пересечение synthetic…
- wikiLLM Eval Toolkit
# LLM Eval Toolkit ## Определение Набор из 8 метрик (Diversity, Reliability, Perturbation, Cascade, Consistency, Factual Grounding, Hallucination, Drift) для комплексной оценки…
- wikicoverage
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] - [[736. Что такое red teaming certification (стандарты…
- wikiResNet
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] - [[92. Профилировать GPU utilization падение|92. Профилировать…
- wikifairness scheduling
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] - [[719. Как проектировать аукцион для allocation вычислительных…
- wikiK-means
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] - [[245. RAG с semantic chunking|245. RAG…
- answerКакие инструменты для агентской эвалюации вы используете?
…Включает 8 ключевых измерений: | Метрика | Описание | Пример измерения | |---------|----------|------------------| | **Diversity** | Разнообразие ответов/траекторий агента на один и тот же запрос (чтобы…
- wikitext-embedding-3-small
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] - [[827. Какие есть стратегии распределённого кэширования для…
- wikirobustness
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] - [[732. Что такое EU AI Act и…
- wikiOverfitting
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] - [[693. Как вы обнаруживаете contamination (пересечение synthetic…
- wikiscikit-learn
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] - [[693. Как вы обнаруживаете contamination (пересечение synthetic…
- answerКак вы измеряете quality RLHF модели вне стандартных бенчмарков (MT-Bench)?
…Мониторьте [[Вики/diversity\|diversity]] и [[Вики/toxic content\|toxicity]] — они могут ухудшиться при агрессивной оптимизации. 6. Используйте hold-out set…
- wikiData augmentation
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] - [[695. Как вы делаете synthetic data для…
- wikiCalibration
…Как вы измеряете diversity синтетического датасета|690. Как вы измеряете diversity синтетического датасета]] - [[759. Какие книги или ресурсы вы рекомендуете…