Поиск
- wikinn.Parameter
# nn.Parameter ## Определение nn.Parameter — класс PyTorch, который позволяет регистрировать тензоры как обучаемые параметры модели, автоматически добавляя их в граф…
- wikiparameters
# parameters ## Определение Обучаемые веса модели; их количество определяет вычислительную сложность и требуемую память при обучении и инференсе. ## Где встречается - [[800…
- wikiDepth scaling without parameters
# Depth scaling without parameters ## Определение Способ увеличения эффективной глубины модели за счёт рекуррентного применения одного и того же блока, не…
- wikiBloom filter parameters
# Bloom filter parameters ## Определение Набор метрик для настройки фильтра Блума: размер битового массива (m), число хэш-функций (k), ожидаемое количество…
- wikiParameterized query
# Parameterized query ## Определение Техника формирования запросов к БД, отделяющая пользовательский ввод от кода запроса; защищает от SQL-инъекций. ## Где встречается…
- wikiProduct Quantization (PQ) parameters
# Product Quantization (PQ) parameters ## Определение Параметры метода Product Quantization, такие как количество подвекторов (m=32/64) и количество бит на…
- wiki1B LLM
# 1B LLM ## Определение Языковая модель с 1 миллиардом параметров, используемая как альтернатива BERT для классификации промптов или в качестве verifier…
- wikiParameter-Efficient Fine-Tuning
# Parameter-Efficient Fine-Tuning ## Определение Семейство методов дообучения, при которых обновляется лишь небольшая часть параметров (1–5%) при замороженных остальных…
- answerЧто такое Tool System в Harness (defineTool, registry, JSON schema validation, rate limiting)?
…def __init__(self, name, description, parameters_schema, fn, rate_limit): self.name = name self.description = description self.parameters_schema = parameters…
- wikishared layers
# shared layers ## Определение Слои модели, общие для всех экспертов (например, attention и embeddings), требующие особого размещения при шардировании. ## Где встречается…
- wikiпараметризованный тест
# параметризованный тест ## Определение Единичный тест, выполняемый с разными наборами данных (золотыми кейсами) для обеспечения регрессионного тестирования. Позволяет компактно покрыть множество…
- wiki2PL
# 2PL ## Определение Модель IRT с параметрами сложности и дискриминативности. ## Где встречается - [[506. Что такое IRT (Item Response Theory) и как…
- wikimodel weights
# model weights ## Определение Числовые параметры обученной модели, определяющие её поведение; загружаются в память для выполнения инференса. ## Где встречается - [[431. Почему…
- wikiпараметризованные тесты
# параметризованные тесты ## Определение Тесты, которые запускаются с различными наборами входных данных (например, сгенерированных запросов) для проверки поведения системы в разных…
- wikiугадывание
# угадывание ## Определение Параметр IRT, нижняя асимптота кривой; вероятность правильного ответа при нулевой способности испытуемого, используется для коррекции оценки LLM. ## Где…
- wikief
# ef ## Определение Параметр HNSW, управляющий размером динамического списка кандидатов при поиске. Увеличение ef повышает точность, особенно при пост-фильтрации, но…
- wikiAffine Transformation
# Affine Transformation ## Определение Обучаемые параметры γ (gamma) и β (beta), используемые в слоях нормализации, таких как LayerNorm и RMSNorm, для…
- wiki3PL
# 3PL ## Определение Модель Item Response Theory (IRT) с тремя параметрами: дискриминативность (a), сложность (b) и вероятность угадывания (c). Используется для…
- wikiUCB constant C
# UCB constant C ## Определение Гиперпараметр в алгоритме UCB1, регулирующий баланс между исследованием и эксплуатацией. Используется в tree search для LLM…
- wikiIA3
# IA3 ## Определение Метод Parameter-Efficient Fine-Tuning (PEFT), который обучает векторы масштабирования для активаций ключей, значений и слоёв FFN, позволяя…
- wikiDense model
# Dense model ## Определение Плотная модель (dense model) — нейронная сеть, в которой все параметры каждого слоя активируются для каждого входа. Противопоставляется…
- wikiscaling factors
# scaling factors ## Определение Параметры, используемые Transformer Engine для масштабирования тензоров при конвертации FP16 в FP8, чтобы избежать переполнения. ## Где встречается…
- wikitruncation
# truncation ## Определение Truncation — обрезка текста до заданной максимальной длины (max_length) при токенизации или инференсе, используется для управления контекстом и…
- answerЧто такое Parameter-Efficient Fine-Tuning (PEFT) и какие методы вы знаете?
…Что такое Parameter-Efficient Fine-Tuning (PEFT) и какие методы вы знаете? ## Краткий тезис **[[Вики/Parameter-Efficient Fine-Tuning\|Parameter…
- wikimargin
# margin ## Определение Гиперпараметр в Triplet loss, задающий минимальный зазор между сходствами анкора с положительным и отрицательным примерами; обычно 0.5…
- wikirepetition penalty
# repetition penalty ## Определение Техника LLM inference, при которой логит уже сгенерированного токена делится на коэффициент больше 1 на каждом шаге…
- wikiFull fine-tuning
# Full fine-tuning ## Определение Метод дообучения, при котором обновляются все параметры модели; требует больших вычислительных ресурсов и большого датасета, склонен…
- answerКак вы переключаете агента между инструментами (function calling) с разными сигнатурами?
…и как его использовать (важно для семантического выбора) - `[[Вики/parameters\|parameters]]` — [[Вики/JSON schema\|JSON Schema]] объекта, описывающая ожидаемые аргументы…
- answerЧто такое gradient clipping и зачем он нужен при обучении LLM?
…Математическая формула norm clipping Реализация на [[Вики/SQL\|Python]] (псевдокод): ```python def clip_grad_norm(parameters, max_norm): total_norm…
- answerКак работает distributed optimizer в PyTorch (torch.distributed.optim)?
…optimizer = ZeroRedundancyOptimizer( model.parameters(), optimizer_class=Adam, lr=1e-4, ) else: optimizer = Adam(model.parameters(), lr=1e-4) # Замер памяти…
- answerКак вы проверяете, что fine-tuned модель не сломала базовые способности?
…Что такое Parameter-Efficient Fine-Tuning (PEFT) и какие методы вы знаете\|31]] | Как вы боретесь с катастрофическим забыванием при…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать latent reasoning (∇-Reasoner)
…Возможные сложности и их решение | Сложность | Решение | |-----------|---------| | Градиенты не доходят до residual (разрыв графа) | Убедиться, что residual является `nn.Parameter…
- answerПочему training 70B модели требует optimizer sharding (ZeRO-3)?
…False } # Инициализация DeepSpeed model_engine, optimizer, _, _ = deepspeed.initialize( model=model, model_parameters=model.parameters(), config_params=ds_config ) # Теперь model…
- answerКакие фреймворки для fine-tuning вы используете?
…fine-tuning|Полный fine-tuning (update всех весов) дорог и не всегда нужен. **PEFT (Fine-Tuning|Parameter-Efficient Fine-Tuning…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Создать benchmark для агентов
…2}}, {"action": "confirm_booking", "parameters": {"email": "user@example.com"}} ], "expected_outcome": "Билет куплен, письмо отправлено", "allowed_actions": ["search_flights", "select…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать протокол A2A с discovery и capability negotiation
…true/false, "[[Вики/model weights\|parameters]]": {...} }`. 2. Спроектировать эндпоинты для протокола [[Вики/A2A\|A2A]] - `POST /register` – регистрация агента в реестре…
- answerКак fine-tune модель для следования сложным инструкциям?
…Инструменты: [[Вики/Hugging Face\|Hugging Face Transformers]], [[Вики/датасеты\|Datasets]], [[Вики/Parameter-Efficient Fine-Tuning\|PEFT]]. **Шаги**: 1. Создать [[Вики…
- answerКак вы подбираете гиперпараметры для LoRA?
…что такое LoRA и зачем подбирать гиперпараметры [[Вики/LoRA\|LoRA]] ([[Вики/LoRA\|Low-Rank Adaptation]]) — метод из семейства **[[Вики/Parameter…
- answerКак работает gradient checkpointing в DeepSpeed?
…2} } model_engine, optimizer, _, _ = deepspeed.initialize( model=model, model_parameters=model.parameters(), config_params=ds_config ) # Обучение for epoch in…
- answerКак работает QLoRA (Quantized LoRA) для training?
…Иногда добавляют [[Вики/FFN\|MLP]]. - Библиотеки: [[Вики/Hugging Face\|Hugging Face Transformers]] + [[Вики/4-bit quantization\|bitsandbytes]] + [[Вики/Parameter-Efficient…
- answerЧто такое loss landscape LLM и как оно влияет на обучение (sharp vs flat minima)?
…orig_params = [p.clone().detach() for p in model.parameters()] for i, a in enumerate(alphas): for j, b in…
- answerЧто такое vanishing / exploding gradients в трансформерах и как их предотвратить?
…Пример кода ```python import torch.nn.utils as utils # Norm clipping (рекомендуемый метод) utils.clip_grad_norm_(model.parameters(), max…
- wikiTemperature
# Temperature ## Определение Гиперпараметр LLM, контролирующий случайность генерации: низкие значения (около 0) делают вывод детерминированным, высокие — увеличивают разнообразие и креативность ответов…
- answerКакие методы fine-tuning вы знаете и какой используете чаще всего?
…от полного обновления всех весов ([[Вики/Full fine-tuning\|full fine-tuning]]) до параметро-эффективных методов ([[Вики/Parameter-Efficient Fine…
- answerЧто такое ReFT (Representation Fine-Tuning) и когда он лучше LoRA?
…LLM. **LoRA (Low-Rank Adaptation)** — метод **PEFT (Fine-Tuning|Parameter-Efficient Fine-Tuning)**, который добавляет к весам модели обучаемые низкоранговые…
- answerКак работает связь между SGD и Adam? Почему Adam лучше для LLM?
…SGD(model.parameters(), lr=0.01, momentum=0.9) # Adam (стандартный) optimizer_adam = optim.Adam(model.parameters(), lr=1e-3…
- answerQLoRA vs LoRA — в чем разница и когда QLoRA лучше?
…Какие данные нужны для fine-tuning на кастомный стиль общения\|28]] | PEFT (Parameter‑Efficient Fine‑Tuning) — обзор методов | | [[29. Как…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить canary deployment промптов
…В каждой — [[Вики/required field\|обязательные поля]]: `version`, `system_prompt`, `[[Вики/parameters\|parameters]]` ([[Вики/Temperature\|temperature]], [[Вики/max_tokens\|max…
- answerКак работает Infini-attention (Google, 2024) для бесконечного контекста?
…super().__init__() self.segment_size = segment_size self.mem_k = nn.Parameter(torch.zeros(memory_slots, d_model)) self.mem…
- practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Fine-tune QLoRA на 1 GPU
…навыки работы с [[Вики/4-bit quantization\|bitsandbytes]], [[Вики/Parameter-Efficient Fine-Tuning\|PEFT]], [[Вики/Hugging Face\|Hugging Face Transformers…