RUEN中文
…

Поиск

  • wikiFull fine-tuning

    # Full fine-tuning ## Определение Метод дообучения, при котором обновляются все параметры модели; требует больших вычислительных ресурсов и большого датасета, склонен…

  • wikiParameter-Efficient Fine-Tuning

    # Parameter-Efficient Fine-Tuning ## Определение Семейство методов дообучения, при которых обновляется лишь небольшая часть параметров (1–5%) при замороженных остальных…

  • wikiFine-tuning cost

    # Fine-tuning cost ## Определение Суммарные затраты на GPU, подготовку датасета и инженерные ресурсы для выполнения fine-tuning модели. ## Где встречается…

  • wikiLoRA

    …Когда вы выбираете fine-tuning вместо RAG, а когда — наоборот|21. Когда вы выбираете fine-tuning вместо RAG, а когда…

  • wikiData-efficient fine-tuning

    # Data-efficient fine-tuning ## Определение Подход, использующий 50–200 примеров и активное обучение для снижения стоимости датасета. ## Где встречается - [[780…

  • wikiQLoRA

    # QLoRA ## Определение Метод параметро-эффективного fine-tuning, объединяющий 4-битную квантизацию весов модели и Low-Rank Adaptation (LoRA) для значительного…

  • wikifine-tuning

    …Когда вы выбираете fine-tuning вместо RAG, а когда — наоборот|21. Когда вы выбираете fine-tuning вместо RAG, а когда…

  • wikicatastrophic forgetting

    …Когда вы выбираете fine-tuning вместо RAG, а когда — наоборот|21. Когда вы выбираете fine-tuning вместо RAG, а когда…

  • answerКогда вы выбираете fine-tuning вместо RAG, а когда — наоборот?

    …Когда вы выбираете fine-tuning вместо RAG, а когда — наоборот? ## Краткий тезис Выбор между **[[Вики/SFT\|fine-tuning]]** ([[Вики/SFT…

  • answerКак измерять ROI от fine-tuning (окупается ли дообучение более дешёвым инференсом)?

    …Если [[Вики/Horizon\|горизонт]] 3–6 месяцев, [[Вики/fine-tuning\|fine-tuning]] окупается быстро. Если [[Вики/Fine-tuning cost\|Cost…

  • wikifine-tuning embedding model

    # fine-tuning embedding model ## Определение Адаптация векторных представлений под доменную область через дообучение модели эмбеддингов (часто с triplet loss) для…

  • wikiHugging Face PEFT

    # Hugging Face PEFT ## Определение Библиотека с единым API для PEFT-методов (LoRA, ReFT и др.), упрощающая fine-tuning больших моделей…

  • wikiSanity check

    # Sanity check ## Определение Простой тест для проверки корректности пайплайна (например, дообучение на одном примере) или обнаружения катастрофического забывания после fine…

  • wikiback-translation

    …Какой размер датасета нужен для fine-tuning|24. Какой размер датасета нужен для fine-tuning]] - [[25. Как вы оцениваете качество…

  • answerКак вы предотвращаете catastrophic forgetting при fine-tuning?

    …Сравнение [[Вики/LoRA\|LoRA]] и [[Вики/full compatibility\|Full]] [[Вики/SFT\|fine-tuning]]: | Характеристика | Full fine-tuning | LoRA | |------------------------------|------------------|---------------------| | Число обучаемых…

  • wikiAxolotl

    # Axolotl ## Определение Конфигурационный фреймворк для fine-tuning LLM на основе YAML. Поддерживает synthetic data и используется для production конфигураций fine…

  • wikiHugging Face Trainer

    # Hugging Face Trainer ## Определение Класс из библиотеки Transformers для обучения и fine-tuning моделей. Интегрирован с PEFT и поддерживает early…

  • answerКакой размер датасета нужен для fine-tuning?

    …Fine-tuning, LoRA, Full fine-tuning [[Вики/SFT\|Fine-tuning]] — [[Вики/SFT\|дообучение]] предобученной модели на новом датасете для адаптации…

  • wikiDP-Fine-tuning

    # DP-Fine-tuning ## Определение Применение дифференциальной приватности только на этапе дообучения для сохранения качества модели. ## Где встречается - [[620. Что такое…

  • wikiDoRA

    # DoRA ## Определение Улучшение LoRA, разлагающее веса на magnitude и direction, что повышает качество fine-tuning на 2-5% без увеличения…

  • wikiReFT

    # ReFT ## Определение Метод параметро-эффективного fine-tuning, который обучает интервенции на скрытых представлениях модели, добавляя условные векторы к эмбеддингам. ## Где…

  • wikidropout

    …Какой размер датасета нужен для fine-tuning|24. Какой размер датасета нужен для fine-tuning]] - [[25. Как вы оцениваете качество…

  • wikiFine-tuning loop

    # Fine-tuning loop ## Определение Цикл дообучения, в котором фидбэк от оператора используется для улучшения агентов через fine-tuning. Обычно включает…

  • answerКакие методы fine-tuning вы знаете и какой используете чаще всего?

    …от полного обновления всех весов ([[Вики/Full fine-tuning\|full fine-tuning]]) до параметро-эффективных методов ([[Вики/Parameter-Efficient Fine…

  • wikiChain-of-Thought fine-tuning

    # Chain-of-Thought fine-tuning ## Определение Дообучение модели с использованием примеров, содержащих цепочку рассуждений. Учит агента генерировать объяснения, которые действительно…

  • wikiSFTTrainer

    # SFTTrainer ## Определение Компонент библиотеки Hugging Face TRL для supervised fine-tuning LLM на парах инструкция-ответ. ## Где встречается - [[28. Какие…

  • answerКакие фреймворки для fine-tuning вы используете?

    …fine-tuning|Полный fine-tuning (update всех весов) дорог и не всегда нужен. **PEFT (Fine-Tuning|Parameter-Efficient Fine-Tuning…

  • wikiROI

    …Рассчитать ROI для fine-tuning|75. Рассчитать ROI для fine-tuning]] - [[135. Рассчитать ROI от fine-tuning|135. Рассчитать ROI…

  • answerКак вы проверяете, что fine-tuned модель не сломала базовые способности?

    …Почему fine-tuning может ломать способности Основные причины ухудшения: - Дисбаланс датасета если данные для [[Вики/fine-tuning\|fine-tuning]] слишком…

  • wikiPrefix-tuning

    # Prefix-tuning ## Определение Метод fine-tuning, добавляющий обучаемые префиксные векторы к слоям self-attention; требует мало ресурсов. ## Где встречается - [[22…

  • wikiRegularization

    …Как вы предотвращаете catastrophic forgetting при fine-tuning|26. Как вы предотвращаете catastrophic forgetting при fine-tuning]] - [[356. Что такое…

  • wikigenerative model

    …Используется для weak supervision при разметке данных для fine-tuning. ## Где встречается - [[258. Что такое weak supervision для разметки данных…

  • wikiAdaLoRA

    …Какие методы fine-tuning вы знаете и какой используете чаще всего|22. Какие методы fine-tuning вы знаете и какой…

  • wikiweak supervision

    …Используется для быстрого создания размеченных наборов данных при fine-tuning. ## Где встречается - [[258. Что такое weak supervision для разметки данных…

  • wikiMemory Tuning

    # Memory Tuning ## Определение Механизм Lamini для запоминания фактов из контекста, используемый при fine-tuning. ## Где встречается - [[33. Какие фреймворки для…

  • wikiInstruction tuning

    …Как вы подготовите датасет для fine-tuning, если у вас только неструктурированные диалоги с клиентами]] - [[33. Какие фреймворки для fine…

  • answerЧто такое adversarial fine-tuning для защиты от jailbreak?

    …3. [[Вики/SFT\|Fine-tuning]]: - Используется [[Вики/SFT\|supervised fine-tuning]] ([[Вики/fine-tuning\|SFT]]) на смешанном датасете. - Возможно применение…

  • wikiLamini

    # Lamini ## Определение Lamini — платформа для enterprise fine-tuning LLM, предоставляющая дашборды мониторинга и инструменты memory tuning. ## Где встречается - [[33. Какие…

  • wikiPrompt Tuning

    …Что такое ReFT (Representation Fine-Tuning) и когда он лучше LoRA|484. Что такое ReFT (Representation Fine-Tuning) и когда…

  • answerКакая у вас была самая сложная проблема при fine-tuning и как вы её решили?

    …Потеря attention mask при fine-tuning BERT для QA [[Вики/Task\|Задача]] [[Вики/fine-tuning\|Fine-tuning]] [[Вики/Transformer\|BERT…

  • wikiSLURM

    # SLURM ## Определение Система управления заданиями на кластере, используемая для распределённого выполнения задач, таких как fine-tuning моделей. Обеспечивает планирование ресурсов…

  • wikiEWC

    # EWC ## Определение Регуляризационный метод, добавляющий штраф за изменение важных весов, чтобы сохранить знания при fine-tuning. ## Где встречается - [[26. Как…

  • wikiBootstrap estimation

    # Bootstrap estimation ## Определение Метод оценки достаточности данных для fine-tuning, основанный на обучении модели на подвыборках данных. Позволяет определить минимальный…

  • wikidata labeling

    …Затраты на разметку учитываются при расчете ROI fine-tuning. ## Где встречается - [[800+ вопросов|800+ вопросов]] - [[135. Рассчитать ROI от fine…

  • wikiOnline fine-tuning

    # Online fine-tuning ## Определение Непрерывное дообучение модели на потоке данных с сохранением checkpoint'ов для восстановления после сбоев. ## Где встречается…

  • wikipyreft

    # pyreft ## Определение Библиотека Stanford NLP для Representation Fine-Tuning (ReFT) — метода тонкой настройки, изменяющего представления модели вместо весов. ## Где встречается…

  • wikilearning curve experiment

    …Какой размер датасета нужен для fine-tuning|24. Какой размер датасета нужен для fine-tuning]] - [[699. Как вы оцениваете, сколько…

  • wikiKrum

    # Krum ## Определение Алгоритм робастной агрегации градиентов, выбирающий градиент, наиболее близкий к остальным, для защиты от атак отравления данных при fine…

  • wikicost model

    # cost model ## Определение Математическая или вычислительная модель, описывающая затраты на fine-tuning и inference (например, ft_cost и fs_cost…

  • wikiLoReFT

    # LoReFT ## Определение Low-rank Representation Fine-Tuning — метод дообучения, использующий низкоранговые матрицы для модификации внутренних представлений модели, альтернатива LoRA. ## Где…