RUEN中文
…

Поиск

  • wikiRAG evaluation

    …Как генерировать synthetic датасеты для RAG evaluation|866. Как генерировать synthetic датасеты для RAG evaluation]] - [[800+ вопросов|800+ вопросов]] ## Навигация…

  • wikiEvol-Instruct

    …Как генерировать synthetic датасеты для RAG evaluation|866. Как генерировать synthetic датасеты для RAG evaluation]] - [[Практика|Практика]] - [[800+ вопросов|800…

  • wikitorchvision

    # torchvision ## Определение Библиотека PyTorch для работы с изображениями, предоставляющая датасеты, трансформации и предобученные модели. ## Где встречается - [[273. Реализовать curriculum learning…

  • wikiALCE

    # ALCE ## Определение Бенчмарк для оценки long-form ответов с цитированием, включающий метрики faithfulness на уровне фактов (датасеты ASQA, QAMPARI). ## Где…

  • wikiGiskard

    # Giskard ## Определение Фреймворк для тестирования LLM-приложений, включающий встроенные тесты на устойчивость к adversarial атакам и датасеты инъекций. ## Где встречается…

  • wikigeneration

    …Как генерировать synthetic датасеты для RAG evaluation|866. Как генерировать synthetic датасеты для RAG evaluation]] - [[875. Как делать synthetic eval…

  • wikiдатасеты

    # датасеты ## Определение Наборы данных (например, из Hugging Face Datasets), используемые для регрессионного тестирования, загрузки, обработки и fine-tuning LLM. ## Где…

  • wikidata programming

    …Позволяет быстро генерировать размеченные датасеты без ручной разметки. ## Где встречается - [[513. Что такое weak supervision для разметки данных для fine…

  • wikicoverage

    …Как генерировать synthetic датасеты для RAG evaluation|866. Как генерировать synthetic датасеты для RAG evaluation]] - [[880. Как проектировать golden dataset…

  • wikiProdigy

    …Позволяет быстро создавать размеченные датасеты, используя итеративный подход с участием человека. ## Где встречается - [[341. Как вы проектируете бенчмарк для нового…

  • wikiSupply Chain

    # Supply Chain ## Определение Уязвимости в цепочке поставок ML-компонентов, включая библиотеки, предобученные модели и датасеты. Компрометация любого звена может привести…

  • wikidiversity

    …Как генерировать synthetic датасеты для RAG evaluation|866. Как генерировать synthetic датасеты для RAG evaluation]] - [[800+ вопросов|800+ вопросов]] - [[95…

  • wikioff-policy

    …из политики, отличной от текущей, что позволяет использовать статические датасеты без онлайн-взаимодействия. ## Где встречается - [[36. Что такое DPO (Direct…

  • wikiMulti-step reasoning

    …Как генерировать synthetic датасеты для RAG evaluation|866. Как генерировать synthetic датасеты для RAG evaluation]] - [[879. Как делать evaluation для…

  • answerLangSmith — зачем и как используете?

    …Она обеспечивает сквозную [[Вики/мониторинг\|наблюдаемость]] ([[Вики/мониторинг\|observability]]) цепочек вызовов, позволяет создавать [[Вики/датасеты\|датасеты]] для регрессионного тестирования, проводить…

  • wikiShareGPT / OpenAssistant / Dolly

    # ShareGPT / OpenAssistant / Dolly ## Определение Открытые датасеты диалогов и инструкций, используемые для fine-tuning и оценки моделей (например, instruction tuning и…

  • wikiadversarial input

    …Как генерировать synthetic датасеты для RAG evaluation|866. Как генерировать synthetic датасеты для RAG evaluation]] - [[868. Что такое red teaming…

  • answerКак вы генерируете синтетический датасет для instruction tuning? Self-instruct, Evol-Instruct?

    …Как вы генерируете синтетический датасет для instruction tuning? Self-instruct, Evol-Instruct? ## Краткий тезис Синтетические [[Вики/датасеты\|датасеты]] для [[Вики…

  • wikiTextAttack

    …Включает встроенные методы атак (TextFooler, HotFlip и др.) и датасеты для оценки robustness. ## Где встречается - [[34. Какая у вас была…

  • answerКак генерировать synthetic датасеты для RAG evaluation?

    …Как генерировать synthetic датасеты для RAG evaluation? ## Краткий тезис Синтетические [[Вики/датасеты\|датасеты]] ([[Вики/Synthetic dataset\|synthetic]] [[Вики/датасеты\|datasets…

  • wikiData augmentation

    …Как генерировать synthetic датасеты для RAG evaluation|866. Как генерировать synthetic датасеты для RAG evaluation]] - [[Практика|Практика]] - [[800+ вопросов|800…

  • practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Сравнить архитектуры на reasoning задачах (Mamba vs Transformer vs RWKV vs Hyena)

    …Загрузить [[Вики/датасеты\|датасеты]]: ```python from datasets import load_dataset gsm8k = load_dataset("openai/gsm8k", "main", split="test") math = load…

  • wikiSynthetic dataset

    …Как генерировать synthetic датасеты для RAG evaluation|866. Как генерировать synthetic датасеты для RAG evaluation]] - [[Практика|Практика]] - [[800+ вопросов|800…

  • practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настройка AWQ квантизации для LLM

    …Загрузить [[Вики/датасеты\|датасеты]] (калибровочный и для оценки): ```python from datasets import load_dataset calib_dataset = load_dataset("c4", "en…

  • answerКак вы делаете synthetic data для сложного рассуждения (math, code)?

    …Эти методы позволяют получать большие размеченные [[Вики/датасеты\|датасеты]] без ручной аннотации, что критически важно для обучения агентов, способных к…

  • wikidata drift

    …Как генерировать synthetic датасеты для RAG evaluation|866. Как генерировать synthetic датасеты для RAG evaluation]] - [[800+ вопросов|800+ вопросов]] - [[68…

  • wikigold standard

    …Как генерировать synthetic датасеты для RAG evaluation|866. Как генерировать synthetic датасеты для RAG evaluation]] - [[875. Как делать synthetic eval…

  • practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Сравнить GPTQ vs AWQ на reasoning задачах

    …Ожидаемый результат этапа Рабочее окружение, скачанная [[Вики/model\|модель]] и [[Вики/датасеты\|датасеты]], выполнены baseline-замеры [[Вики/Quantization\|full-precision…

  • answerКак вы тестируете robustness LLM к adversarial input (не только injection)?

    …Датасеты и бенчмарки Для стандартизации тестирования существуют специализированные наборы: - [[Вики/AdvGLUE\|AdvGLUE]] — [[Вики/Adversarial generation\|adversarial]] версия [[Вики/GLUE\|GLUE…

  • practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Fine-tune embedding для юридического домена

    …Исходные данные | Что нужно | Откуда взять | |---|---| | 5000 договоров (юридический домен, RU/EN) | Открытые датасеты: CUAD (Contrat Understanding Atticus Dataset), российские…

  • wikiSelf-reflection

    …Как генерировать synthetic датасеты для RAG evaluation|866. Как генерировать synthetic датасеты для RAG evaluation]] - [[870. Как работает LLM-as…

  • answerКак вы делаете synthetic data для редких языков (не английский)?

    …перевод вопроса на башкирский print(translate("What is the capital of France?")) ``` Плюсы - Быстро, масштабируемо. - Использует проверенные англоязычные [[Вики/датасеты…

  • practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Fine-tune LoRA для стиля

    …Технологический стек | Компонент | Инструменты | Назначение | |-----------|-------------|------------| | Фреймворк дообучения | `transformers`, `peft`, `trl` | LoRA, обучение, PPO/SFT | | Датасеты | `datasets` | Загрузка, обработка, разделение | | Оптимизация…

  • answerКак делать synthetic eval datasets для agentic workflows?

    …Зачем нужны синтетические датасеты для agentic workflows Обычный RAG-пайплайн (retrieval + generation) оценивается статическими парами вопрос–ответ. В **agentic workflow…

  • answerКак интегрировать тестирование агентов в CI/CD?

    …Инструменты: [[Вики/LangSmith\|LangSmith]] ([[Вики/датасеты\|датасеты]], [[Вики/automated testing\|автотесты]]), [[Вики/DeepEval\|DeepEval]] ([[Вики/Evaluation\|оценка]] по метрикам). ### 2…

  • answerКак вы детектируете data contamination в evaluation датасетах?

    …Практические рекомендации для создания evaluation датасетов 1. **Используйте датасеты, опубликованные после даты среза тренировочных данных модели.** Например, для модели, обученной…

  • practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать curriculum learning

    …Используем встроенные [[Вики/датасеты\|датасеты]] [[Вики/PyTorch\|PyTorch]] ([[Вики/MNIST\|MNIST]] доступен всегда). 2. В качестве метрики сложности для простоты…

  • answerКак работает Toolformer (обучение агента использованию инструментов)?

    …Преимущества и ограничения ### Преимущества - Без разметки — не нужны [[Вики/датасеты\|датасеты]] с вызовами [[Вики/API\|API]], [[Вики/model\|модель]] сама…

  • answerЧто такое data poisoning атака на fine-tuning и как защититься?

    …Почему [[Вики/fine-tuning\|fine-tuning]] уязвим - [[Вики/датасеты\|Датасеты]] для дообучения часто собираются из ненадёжных источников (пользовательский контент, [[Вики…

  • answerКак вы планируете масштабирование команды вокруг LLM-системы?

    …Возникает [[Вики/crew\|команда]] платформы, которая строит внутренние сервисы: [[Вики/датасеты\|датасеты]], пайплайны оценки, [[Вики/feature store\|feature store]]. ## 2…

  • answerЧто такое curriculum learning на уровне данных для LLM?

    …Инструменты [[Вики/SQL\|Python]], [[Вики/HuggingFace Transformers\|HuggingFace Transformers]], [[Вики/датасеты\|Datasets]], [[Вики/PyTorch\|PyTorch]]. **Шаги:** 1. Загрузить [[Вики/dataset…

  • answerКакой размер датасета нужен для fine-tuning?

    …Инструменты [[Вики/Hugging Face\|Hugging Face Transformers]], [[Вики/Parameter-Efficient Fine-Tuning\|PEFT]], [[Вики/датасеты\|Datasets]], [[Вики/scikit-learn\|scikit…

  • answerКак вы предотвращаете catastrophic forgetting при fine-tuning?

    …для [[Вики/fine-tuning\|fine-tuning]] на одном домене добавлять универсальные [[Вики/датасеты\|датасеты]] (например, [[Вики/ShareGPT OpenAssistant Dolly\|OpenAssistant…

  • answerКак избежать evaluation overfitting (когда модель учится на тесте)?

    …Инструменты Для [[Вики/NLP\|NLP]]‑задач используют утилиты (например, `[[Вики/датасеты\|datasets]]` от [[Вики/Hugging Face\|Hugging Face]] с функцией…

  • answerЧто такое LayoutLMv3 и зачем он для document understanding?

    …Fine-tuning под задачи DU После предобучения [[Вики/LayoutLMv3\|LayoutLMv3]] донастраивается на конкретные [[Вики/датасеты\|датасеты]]. Основные типы задач: ### 5…

  • answerЧто такое Cost Engineering для LLM-систем?

    …выход модели; - косвенные – содержание GPU-кластера, инженерное время, [[Вики/датасеты\|датасеты]]. Инструменты атрибуции: - тэгирование запросов ([[Вики/user_id\|user_id…

  • practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить contextual retrieval (Anthropic стиль)

    …Скачать [[Вики/dataset\|датасет]] wiki_qa или [[Вики/SQuAD 2.0\|SQuAD 2.0]] (можно через `[[Вики/датасеты\|datasets]]` библиотеку…

  • answerКак вы делаете synthetic data generation для редких классов в датасете?

    …Инструменты [[Вики/SQL\|Python]], [[Вики/function calling\|OpenAI API]], [[Вики/датасеты\|Hugging Face Datasets]], [[Вики/scikit-learn\|scikit-learn]]. **Шаги…

  • answerКак вы делаете data quality monitoring для RAG корпуса?

    …Особенности - [[Вики/scalability\|Масштабируемость]] на большие [[Вики/датасеты\|датасеты]]. - Поддержка метрик: [[Вики/Recall\|completeness]], [[Вики/Uniqueness\|uniqueness]], [[Вики/Compliance\|compliance…

  • answerЧто такое IRT (Item Response Theory) и как она применяется к LLM эвалюации?

    …Собрать ответы моделей на 200 вопросов [[Вики/MMLU\|MMLU]] (можно использовать [[Вики/API\|API]] или готовые [[Вики/датасеты\|датасеты]]). 2…