Поиск

• wikivariable-length sequences

  # variable-length sequences ## Определение Последовательности разной длины (диалоги, документы), для обработки которых применяется packing — эффективный метод обучения без паддинга, группирующий…

• wikipacking sequences

  …Как работает packing для variable-length sequences в FSDP|476. Как работает packing для variable-length sequences в FSDP]] - [[738…

• wikimax_position_embeddings

  …Как работает packing для variable-length sequences в FSDP|476. Как работает packing для variable-length sequences в FSDP]] ## Навигация…

• wikicollate function

  …Как работает packing для variable-length sequences в FSDP|476. Как работает packing для variable-length sequences в FSDP]] ## Навигация…

• wiki_set_sequence_lengths

  …Как работает packing для variable-length sequences в FSDP|476. Как работает packing для variable-length sequences в FSDP]] - [[800…

• wiki_set_padded_sequence

  …Как работает packing для variable-length sequences в FSDP|476. Как работает packing для variable-length sequences в FSDP]] - [[800…

• wikibinning

  …Как работает packing для variable-length sequences в FSDP|476. Как работает packing для variable-length sequences в FSDP]] - [[711…

• wikiDataLoader

  …Как работает packing для variable-length sequences в FSDP|476. Как работает packing для variable-length sequences в FSDP]] - [[56…

• wikipadded sequences

  …Как работает packing для variable-length sequences в FSDP|476. Как работает packing для variable-length sequences в FSDP]] - [[704…

• wikigradient accumulation

  …Как работает packing для variable-length sequences в FSDP|476. Как работает packing для variable-length sequences в FSDP]] - [[480…

• wikiLoss

  …Как работает packing для variable-length sequences в FSDP|476. Как работает packing для variable-length sequences в FSDP]] - [[675…

• wikiFSDP

  …Как работает packing для variable-length sequences в FSDP|476. Как работает packing для variable-length sequences в FSDP]] - [[800…

• wikiмаскировка

  …Как работает packing для variable-length sequences в FSDP|476. Как работает packing для variable-length sequences в FSDP]] - [[485…

• wikidynamic shapes

  # dynamic shapes ## Определение Поддержка переменных размеров входных данных (например, длины последовательностей) в компиляторах и рантаймах; критична для гибкости, но может…

• answerКак работает packing для variable-length sequences в FSDP?

  …Как работает packing для variable-length sequences в FSDP? ## Краткий тезис [[Вики/packing sequences\|Packing]] — это техника объединения нескольких коротких…

• wikiDistilGPT2

  …Как работает packing для variable-length sequences в FSDP|476. Как работает packing для variable-length sequences в FSDP]] - [[484…

• wikicontinuous batching

  …Как работает packing для variable-length sequences в FSDP|476. Как работает packing для variable-length sequences в FSDP]] - [[544…

• answerЧто такое warp divergence в CUDA и как он влияет на attention?

  …Это вызывает [[Вики/divergence\|divergence]], так как потоки выполняют разное количество итераций цикла по ключам. ### 4.3 Variable-length sequences…

• answerЧто такое curriculum learning на уровне данных для LLM?

  …Как работает packing для variable-length sequences в FSDP\|476]] | Data mixing strategies для LLM | | [[478. Как работает distributed optimizer…

• answerПочему tokenizer влияет на стоимость training?

  …Как работает packing для variable-length sequences в FSDP\|476]] | Почему fine-tuning стоит дешевле, чем pre-training? | | [[480. Как…

• answerЧто такое activation offloading и когда он нужен?

  …Как работает packing для variable-length sequences в FSDP\|476]] | Distributed training (общие принципы) | --- ## Навигация (Obsidian) - Предыдущий: [[478. Как работает…

• answerКак работает FSDP (Fully Sharded Data Parallel) в PyTorch?

  …Как работает packing для variable-length sequences в FSDP\|476]] | Что такое tensor parallelism и когда его использовать? | --- ## Навигация (Obsidian…

• indexИндекс разборов

  …Как работает packing для variable-length sequences в FSDP\|476. Как работает packing для variable-length sequences в FSDP?]] - [[477…

• indexОглавление

  …Как работает packing для variable-length sequences в FSDP\|476. Как работает packing для variable-length sequences в FSDP?]] - [[Вопросы…

• wikiИндекс терминов

  …costs]] - [[Вики/Variable Renaming|Variable Renaming]] - [[Вики/variable-length sequences|variable-length sequences]] - [[Вики/Variance Estimation|Variance Estimation]] - [[Вики/variance…

• question_bankЧАСТЬ 1: RAG-СИСТЕМЫ (20 вопросов)

  …Как работает packing для variable-length sequences в FSDP?** > _Ответ:_ Сортируем последовательности по длине, пакуем короткие вместе, добавляя attention mask…