Knowledge Portal

aivaro.ru

  • Оглавление
  • Вопросы
  • Практика
  • Вики
  • Тесты
  • Поиск
✈Telegram @AetSeidhe
RUEN中文
…
Оглавление/Вики/text

text

text

Определение

Одна из модальностей данных (наряду с изображениями и графами), используемая в мультимодальных моделях для представления текстовой информации в едином формализме.

Где встречается

  • 800+ вопросов

Навигация

  • Индекс терминов
  • Индекс разборов
  • Оглавление

Теги

wikiтерминdata

Обратные ссылки (75)

  • GRPO (Group Relative Policy Optimization) vs PPO — чем отличается и зачем нужен?
  • В чем проблема «natural language bottleneck» для LLM?
  • Индекс терминов
  • Как Harness Engineering связан с наблюдаемостью (OpenTelemetry, LangSmith, трассировка)?
  • Как вы fine-tune embedding модель под свой домен (а не используете готовую)?
  • Как вы анализируете embedding geometry для отладки retrieval качества?
  • Как вы выбираете между увеличением тест-тайм компьютинга и использованием большей модели?
  • Как вы делаете RAG для изображений (image retrieval without text)?
  • Как вы делаете data quality monitoring для RAG корпуса?
  • Как вы делаете data quality monitoring для RAG корпуса?
  • Как вы делаете image captioning для RAG (извлечение описания изображения)?
  • Как вы делаете incremental ingestion для часто меняющихся документов?
  • Как вы избегаете переобучения при fine-tuning на маленьком датасете?
  • Как вы индексируете видео-контент в RAG-системе?
  • Как вы калибруете retrieval confidence для threshold-based filtering?
  • Как вы обрабатываете смену форматов документов (legacy + новые форматы)?
  • Как делать property-based testing для агентов?
  • Как детектировать и предотвращать vector DB poisoning?
  • Как обеспечивать backward compatibility при изменении протокола?
  • Как обрабатывать schema drift в данных для RAG?
  • Как проектировать ETL vs ELT для RAG?
  • Как проектировать аукцион для allocation вычислительных ресурсов между агентами?
  • Как происходит PII leakage через LLM и как защититься?
  • Как работает CLIP (Contrastive Language-Image Pre-training) внутренне?
  • Как работает CLIP и как training contrastive loss выравнивает текст и изображения?
  • Как работает Infini-attention (Google, 2024) для бесконечного контекста?
  • Как работает LayerNorm и RMSNorm? В чем разница и почему RMSNorm быстрее?
  • Как работает RMSNorm (Root Mean Square Normalization) и чем лучше LayerNorm?
  • Как работает RoPE (Rotary Position Embedding) и чем лучше абсолютных позиций?
  • Как работает adversarial example для embedding моделей (атака на retrieval)?
  • Как работает membership inference атака на LLM?
  • Как работает model stealing attack и как защититься?
  • Как работает perplexity и как ее интерпретировать? Связь с cross-entropy?
  • Как работает softmax и почему он вызывает проблемы с градиентами при больших logits?
  • Как работает мультимодальный RAG с unified retrieval (один индекс для текста и изображений)?
  • Как работают browser agents и computer use agents (Claude Computer Use)?
  • Как спроектировать агента, который может выполнять цепочку из 5-10 действий?
  • Какие embedding-модели для мультимодального поиска вы используете? CLIP, BLIP-2, ImageBind?
  • Почему 4-bit inference иногда медленнее 8-bit?
  • Почему MoE (Mixture of Experts) быстрее dense модели при инференсе?
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с incremental update (CDC из PostgreSQL → Kafka → Qdrant)
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с semantic chunking (кластеризация эмбеддингов предложений)
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с векторной БД на CPU (Chroma/Qdrant)
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с гибридным поиском (Qdrant + BM25 + RRF)
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с мультиязычным поиском (русский/английский/китайский)
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Semantic cache для RAG
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Агент с delegated tools (Supervisor → 2 специализированных агента)
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Агент с памятью через векторную БД
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Интегрировать OpenTelemetry в агента
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить Guardrails на NeMo
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить contextual retrieval (Anthropic стиль)
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить drift detection для агента
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить query expansion с LLM и BM25
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать hallucination indicator (индикатор галлюцинаций)
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать handshake при соединении агентов
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать process reward model (PRM)
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать user feedback loop (лайк/дизлайк + free text)
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Сгенерировать synthetic датасет для RAG
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Собрать agentic mesh из 3 агентов
  • Чем мультимодальный RAG отличается от «OCR + текстовый RAG»? Почему второго недостаточно?
  • Что такое AI for materials science (GNoME, MatterGen) и как это отличается от text LLM?
  • Что такое KTO (Kahneman-Tversky Optimization) и чем отличается от DPO?
  • Что такое Recurrent Depth в контексте LLM и зачем это нужно?
  • Что такое Top-p (nucleus) sampling и как он сочетается с temperature?
  • Что такое adversarial retrieval (атака на retrieval компонент RAG)?
  • Что такое attention sink и почему он возникает в длинных контекстах?
  • Что такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)?
  • Что такое curriculum learning for synthetic data (обучение на легких данных сначала)?
  • Что такое logit lens (интерпретация скрытых состояний)?
  • Что такое logit lens и как он помогает понимать внутренние представления?
  • Что такое prefix caching и когда он эффективен?
  • Что такое sliding window attention и зачем он в Mistral?
  • Что такое watermarking для LLM генераций и как его детектировать?
  • Что такое weak supervision для разметки данных для fine-tuning и как его применить?
  • Что такое ∇-Reasoner (nabla-reasoner) и как он использует градиентный спуск на этапе теста?