duplicate detection

Определение

Процесс выявления и удаления дубликатов документов, сообщений или данных для обеспечения качества корпуса и exactly-once обработки.

Где встречается

• 240. Как вы проектируете dead letter queue для failed LLM инференс запросов
• 257. Как вы дедуплицируете документы перед индексацией в RAG
• 259. Как вы генерируете synthetic данные для instruction tuning
• 266. Как вы делаете incremental ingestion для часто меняющихся документов
• 275. Как вы делаете data quality monitoring для RAG корпуса
• 357. Как работает membership inference атака на LLM
• 406. Что такое idempotency в контексте LLM API и зачем она нужна
• 525. Как вы управляете cost хранения векторной БД при миллиарде векторов
• 546. Как вы индексируете видео-контент в RAG-системе
• 570. Что такое tree search agents (MCTS for LLM) и когда они эффективны
• 583. Как вы делаете agent с bounded rationality (ограниченные вычислительные ресурсы)
• 681. Как вы генерируете синтетический датасет для instruction tuning Self-instruct, Evol-Instruct
• 685. Как вы детектируете и удаляете низкокачественные примеры из синтетического датасета
• 697. Как вы масштабируете синтетическую генерацию до миллионов примеров (cost optimization)
• 780. Как измерять ROI от fine-tuning (окупается ли дообучение более дешёвым инференсом)
• 855. Как проектировать CDC (Change Data Capture) для документов
• 860. Как обеспечивать exactly-once semantics в Kafka для embedding
• 869. Как избежать benchmark contamination (когда модель видела тестовые данные)
• 885. Как происходит PII leakage через LLM и как защититься
• Практика
• 800+ вопросов
• 105. Настроить Memory (in-memory + vector)
• 117. Настроить эскалацию человеку
• 152. Реализовать test generation для агента
• 176. Развернуть message bus (NATSKafka)
• 178. Настроить exactly-once delivery
• 266. Сгенерировать synthetic датасет для RAG
• 271. Реализовать synthetic eval для агента

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление