Поиск

• wikicontrastive learning

  # contrastive learning ## Определение Парадигма обучения, в которой модель учится различать похожие и непохожие пары данных, увеличивая вероятность правильных и уменьшая…

• wikicontrastive loss

  …Как работает CLIP и как training contrastive loss выравнивает текст и изображения|361. Как работает CLIP и как training contrastive…

• wikiUniformity

  # Uniformity ## Определение Свойство эмбеддингов равномерно распределяться по гиперсфере, предотвращая коллапс представлений в contrastive learning. ## Где встречается - [[361. Как работает CLIP…

• wikiImage-Text Contrastive

  # Image-Text Contrastive ## Определение Контрастивное обучение, сближающее эмбеддинги изображения и соответствующего текста в общем пространстве. Используется как задача обучения Q…

• answerКак работает CLIP и как training contrastive loss выравнивает текст и изображения?

  …Contrastive learning и InfoNCE loss **[[Вики/contrastive learning\|Contrastive learning]]** ([[Вики/contrastive learning\|контрастивное обучение]]) — это парадигма, в которой [[Вики…

• answerКак работает CLIP (Contrastive Language-Image Pre-training) внутренне?

  …Contrastive Learning (контрастивное обучение) **[[Вики/contrastive loss\|Contrastive learning]]** — это парадигма обучения, при которой [[Вики/model\|модель]] учится различать похожие…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Fine-tune embedding для юридического домена

  …Возможные сложности и их решение | Сложность | Решение | |---|---| | Недостаточно данных для contrastive learning (переобучение) | Использовать hard negative mining: выбирать негативы, которые…

• wikiZero-shot

  …Как работает CLIP и как training contrastive loss выравнивает текст и изображения|361. Как работает CLIP и как training contrastive…

• wikicross-entropy loss

  …Как работает RLHF (Reinforcement Learning from Human Feedback) технически|326. Как работает RLHF (Reinforcement Learning from Human Feedback) технически]] - [[339…

• wikiкосинусная близость

  …Как работает CLIP и как training contrastive loss выравнивает текст и изображения|361. Как работает CLIP и как training contrastive…

• answerКак вы fine-tune embedding модель под свой домен (а не используете готовую)?

  …Что такое DPO (Direct Preference Optimization) и чем отличается от RLHF\|36]] | Что такое contrastive learning в контексте эмбеддингов? | | [[37…

• wikiTransformer

  …Что такое curriculum learning для LLM и как его реализовать|466. Что такое curriculum learning для LLM и как его…

• answerКак вы генерируете hard negative примеры для retrieval обучения?

  …Зачем нужны [[Вики/hard negatives\|hard negative]] В [[Вики/contrastive loss\|contrastive learning]] (например, [[Вики/Loss\|loss]] [[Вики/InfoNCE\|InfoNCE…

• wikiPyTorch

  …Как работает RLHF (Reinforcement Learning from Human Feedback) технически|326. Как работает RLHF (Reinforcement Learning from Human Feedback) технически]] - [[336…

• answerЧто такое SigLIP и чем отличается от CLIP?

  …Как вы проектируете data lineage для RAG (от документа к ответу)\|520]] | Какие loss функции используются в contrastive learning? | | [[530…

• answerЧто такое adversarial fine-tuning для защиты от jailbreak?

  …Он часто комбинируется с: - **RLHF (Reinforcement Learning from Human Feedback)**: награда за безопасность может быть частью reward model. Adversarial примеры…

• wikitransformers

  …Как работает RLHF (Reinforcement Learning from Human Feedback) технически|326. Как работает RLHF (Reinforcement Learning from Human Feedback) технически]] - [[330…

• answerКак работает мультимодальное выравнивание (alignment) в моделях типа Chameleon (Meta)?

  …Никаких дополнительных loss-функций (например, [[Вики/contrastive loss\|contrastive loss]], как в [[Вики/CLIP\|CLIP]]) не требуется. ## 6. Отличие от…

• answerКак работает Q-Former в BLIP-2 и зачем он нужен?

  …Термин «[[Вики/Image-Text Contrastive\|ITC]]» ([[Вики/Image-Text Contrastive\|Image-Text Contrastive]])** — [[Вики/contrastive learning\|контрастивное обучение]]: сближать [[Вики…

• answerЧто такое Q-Former в BLIP-2 и зачем он нужен?

  …Learning - Цель Научить [[Вики/Q-Former\|Q-Former]] извлекать из изображения признаки, релевантные тексту. - **Задачи:** [[Вики/Image-Text Contrastive\|Image…

• answerЧто такое Learned Index Structures for ANN? Новые подходы 2025-2026?

  …L1/L2 между предсказанной и истинной позицией, или [[Вики/contrastive loss\|contrastive loss]] для улучшения разделимости. 4. [[Вики/inference\|Инференс…

• answerКак работает Direct Preference Optimization (DPO) в деталях (потеря, градиенты)?

  …Это похоже на contrastive learning (контрастивное обучение). Важно: [[Вики/gradients\|градиент]] не требует вычисления [[Вики/reward model\|reward model]] или…

• answerКак работает LLM-as-judge и почему он biased?

  …Обучаем или настраиваем судью ([[Вики/fine-tuning\|fine-tune]]) с [[Вики/contrastive loss\|contrastive learning]] или [[Вики/Preference tuning\|preference…

• answerКак вы проектируете векторную БД с миллиардом векторов при ограниченном бюджете?

  …Как вы делаете active learning loop для улучшения retrieval\|531]] | Как вы оцениваете качество retrieval? | | [[532. Что такое data contract…

• answerЧто такое Fuyu-8B и чем архитектурно отличается от GPT-4V?

  …3. [[Вики/end-to-end learning\|Сквозное обучение]]: модель учится извлекать визуальные признаки, оптимальные для языковой задачи, а не полагается…

• answerЧто такое representation engineering (RepE) и зачем он нужен?

  …В отличие от **[[Вики/SFT\|fine-tuning]]** (изменение всех весов модели на новом датасете) или [[Вики/Reinforcement Learning from Human…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать process reward model (PRM)

  …Math-Base-7B) | | Библиотека для RLHF | TRL (Transformer Reinforcement Learning) | Использование готовых loss-функций (PPO, KTO) или написание своей | | Векторное…

• wikiИндекс терминов

  …Contrastive Activation Addition|Contrastive Activation Addition]] - [[Вики/Contrastive decoding|Contrastive decoding]] - [[Вики/contrastive learning|contrastive learning]] - [[Вики/contrastive loss|contrastive…

• answerКак работает кросс-энтропия (cross-entropy loss) для LLM обучения?

  …корпусах текстов в режиме [[Вики/self-supervision\|self-supervised learning]]. Для каждого токена в последовательности [[Вики/model\|модель]] предсказывает следующий…

• answerКак вы обрабатываете real-time фичи для LLM (например, текущий сток товара)?

  …Как вы делаете active learning loop для улучшения retrieval\|531]] | Как кэшировать результаты вызовов инструментов? | | [[532. Что такое data contract…

• answerКак вы делаете RAG для видео (индексация subshots, аудио, ключевые кадры)?

  …Затем получаем их визуальные [[Вики/embedding\|эмбеддинги]] с помощью [[Вики/CLIP\|CLIP]] ([[Вики/CLIP\|Contrastive Language–Image Pre-training]]) — модели…

• answerЧто такое Audio RAG (RAG для аудиофайлов)?

  …Приложение, где [[Вики/multi-tenant\|пользователь]] вводит вопрос (например, «Что такое [[Вики/fine-tuning\|transfer learning]]?») и получает текстовый ответ…

• answerКак вы отслеживаете data drift для распределения запросов к RAG?

  …Альтернатива — domain adaptation через contrastive learning на парах (запрос, релевантный документ) из текущего окна. ### 4.2 Перекалибровка порогов релевантности Порог…

• answerКак вы проектируете систему для real-time video understanding (поток с камер)?

  …Что такое learning-to-rank (LTR) и как он применяется к retrieval для LLM\|373]] | Как оценивать качество ответов мультимодального…

• indexИндекс разборов

  …Что такое «Schema-Activated In-Context Learning» (SA-ICL)\|188. Что такое «Schema-Activated In-Context Learning» (SA-ICL)?]] - [[189…

• indexОглавление

  …Реализовать learning-to-rank с LambdaMART\|45. Реализовать learning-to-rank с LambdaMART]] - [[Практика/Подробное описание/46. Настроить cross-encoder…

• indexПРАКТИЧЕСКИЙ ЧЕКЛИСТ: СТАFF+ AI SYSTEMS ENGINEERING

  …генерирует синонимы, BM25 по всем|Recall +15%| |5|Реализовать learning-to-rank с LambdaMART|Фичи: BM25, vector sim, recency, authority…

• question_bankЧАСТЬ 1: RAG-СИСТЕМЫ (20 вопросов)

  …Какие 3 книги/курса вы рекомендуете по production LLM?** **Ответ (актуальные на 2026):** 1. **"Designing Machine Learning Systems"** (Chip Huyen…