RUEN中文
…

Поиск

  • answerКак работает QLoRA (Quantized LoRA) для training?

    …насколько QLoRA хуже LoRA? В оригинальной статье [[Вики/QLoRA\|QLoRA]] (Dettmers et al., 2023) показано, что [[Вики/QLoRA\|QLoRA]] с…

  • answerQLoRA vs LoRA — в чем разница и когда QLoRA лучше?

    …QLoRA vs LoRA — в чем разница и когда QLoRA лучше? ## Краткий тезис [[Вики/QLoRA\|QLoRA]] — это техника адаптации больших языковых…

  • wikiMistral-70B

    # Mistral-70B ## Определение Mistral-70B — модель с 70 миллиардами параметров, используемая как альтернатива для fine-tuning методом QLoRA. ## Где встречается…

  • wiki4-bit quantization

    …Как работает QLoRA (Quantized LoRA) для training|482. Как работает QLoRA (Quantized LoRA) для training]] - [[642. Как вы реализуете KV…

  • wikiPaged Optimizers

    # Paged Optimizers ## Определение Механизм управления памятью состояний оптимизатора через выгрузку на CPU при обучении с ограниченной видеопамятью, применяемый в QLoRA…

  • wikiQLoRA

    …Как работает QLoRA (Quantized LoRA) для training|482. Как работает QLoRA (Quantized LoRA) для training]] - [[484. Что такое ReFT (Representation…

  • wikiHugging Face Trainer

    …Как работает QLoRA (Quantized LoRA) для training|482. Как работает QLoRA (Quantized LoRA) для training]] - [[513. Что такое weak supervision…

  • wikilora_alpha

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikiDouble Quantization

    …Как работает QLoRA (Quantized LoRA) для training|482. Как работает QLoRA (Quantized LoRA) для training]] ## Навигация - [[00. Индекс терминов|Индекс…

  • wikiadapter_config.json

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikiadapter_model.safetensors

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikiDatabricks Dolly 15k

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikiLLaMA-2-70B

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikipaged optimizer

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikimax_seq_length

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikipage swapping

    …Как работает QLoRA (Quantized LoRA) для training|482. Как работает QLoRA (Quantized LoRA) для training]] ## Навигация - [[00. Индекс терминов|Индекс…

  • wikiattention projections

    …Как работает QLoRA (Quantized LoRA) для training|482. Как работает QLoRA (Quantized LoRA) для training]] ## Навигация - [[00. Индекс терминов|Индекс…

  • wikiRTX 4090

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Fine-tune QLoRA на 1 GPU

    …Fine-tune QLoRA на 1 GPU ## 1. Цель задачи Научиться эффективно [[Вики/fine-tuning\|fine-tune]]'ить большие языковые модели…

  • wikicausal LM

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikiNormalFloat4

    # NormalFloat4 ## Определение 4-битный формат квантизации с нормальным распределением, используемый в QLoRA. Минимизирует ошибку квантования для нормально распределённых весов, позволяя…

  • wikidevice_map

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikiAccelerate

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikibitsandbytes

    # bitsandbytes ## Определение Библиотека для быстрой квантизации моделей PyTorch, поддерживающая 4-битные форматы, используется в QLoRA и для снижения потребления памяти…

  • wikiLoRA rank

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikiCPU offload

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikiAutoModelForCausalLM

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikiPeak memory

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikiTensorBoard

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] - [[269. Реализовать hard negative mining для retrieval…

  • answerКакие методы fine-tuning вы знаете и какой используете чаще всего?

    …QLoRA (Quantized LoRA) [[Вики/QLoRA\|QLoRA]] — [[Вики/Expansion\|расширение]] [[Вики/LoRA\|LoRA]], где исходная [[Вики/model\|модель]] загружается в 4…

  • wikigradient norms

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] - [[273. Реализовать curriculum learning|273. Реализовать curriculum…

  • wikiSFTTrainer

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikiAlpaca

    …Как работает QLoRA (Quantized LoRA) для training|482. Как работает QLoRA (Quantized LoRA) для training]] - [[95. Написать runbook для synthetic…

  • wikiParameter-Efficient Fine-Tuning

    …Как работает QLoRA (Quantized LoRA) для training|482. Как работает QLoRA (Quantized LoRA) для training]] - [[484. Что такое ReFT (Representation…

  • wikiGPU memory

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wiki1 GPU

    …модели возможно только с использованием методов сжатия, таких как QLoRA. ## Где встречается - [[Практика|Практика]] ## Навигация - [[00. Индекс терминов|Индекс терминов…

  • wiki70B model

    …Обучение требует распределённых методов, таких как ZeRO-3 и оптимизатор sharding, а fine-tuning возможен с использованием QLoRA на одном…

  • answerКакие фреймворки для fine-tuning вы используете?

    …GUI не позволяет тонко регулировать параметры обучения (например, scheduler). - QLoRA с bitsandbytes: могут быть проблемы с типом данных (нужна версия…

  • wikilearning rate

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] - [[269. Реализовать hard negative mining для retrieval…

  • wikiA100

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikiAdam optimizer

    …Как работает QLoRA (Quantized LoRA) для training|482. Как работает QLoRA (Quantized LoRA) для training]] - [[656. Как работает кросс-энтропия…

  • wikiLoss

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] - [[273. Реализовать curriculum learning|273. Реализовать curriculum…

  • wikiInstruction tuning

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] - [[267. Реализовать Evol-Instruct для instruction tuning…

  • answerКак вы предотвращаете catastrophic forgetting при fine-tuning?

    …QLoRA vs LoRA — в чем разница и когда QLoRA лучше\|27]] | Выбор данных для fine-tuning | | [[28. Какие данные нужны…

  • practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: LoRA для function calling

    …Для моделей 7B потребуется [[Вики/Quantization\|quantization]] ([[Вики/QLoRA\|QLoRA]]). Если нет реального датасета — симулируем: 1. Определить 5-10 функций…

  • answerКак fine-tune модель для следования сложным инструкциям?

    …Обучаются только они. - [[Вики/QLoRA\|QLoRA]] использует 4-битную квантизацию для ещё большего снижения памяти. - Преимущества: [[Вики/memory savings\|экономия…

  • wikiDeepSpeed

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikiGSM8K

    …Как работает QLoRA (Quantized LoRA) для training|482. Как работает QLoRA (Quantized LoRA) для training]] - [[488. Что такое benchmark contamination…

  • wikitokenizer

    …Fine-tune QLoRA на 1 GPU|244. Fine-tune QLoRA на 1 GPU]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…

  • wikiLlama-3-70B

    # Llama-3-70B ## Определение Большая языковая модель с 70 миллиардами параметров, часто обучаемая с QLoRA для fine-tuning. Дешева при…