bias

Определение

Систематическое отклонение в оценках или предсказаниях модели, которое может усиливаться при обучении на синтетических данных или через RLHF.

Где встречается

• 32. Как вы подготовите датасет для fine-tuning, если у вас только неструктурированные диалоги с клиентами
• 132. Как вы калибруете LLM-судью под человеческие оценки
• 133. Альтернативы LLM-as-Judge — назовите 3 и их ограничения.
• 330. Что такое RLAIF (RL from AI Feedback) и как он масштабируется
• 341. Как вы проектируете бенчмарк для нового домена (медицина, юриспруденция)
• 349. Как вы проводите AB тест метрик качества (не бизнес-метрик)
• 358. Что такое watermarking для LLM генераций и как его детектировать
• 388. Что такое SLI (Service Level Indicators) для AI системы и как их собирать
• 419. Что такое Kafka compaction для логов LLM взаимодействий
• 502. Как вы AB тестируете две версии промпта в production
• 514. Как вы генерируете synthetic данные для instruction tuning
• 534. Как вы делаете data quality для синтетических датасетов
• 681. Как вы генерируете синтетический датасет для instruction tuning Self-instruct, Evol-Instruct
• 683. Что такое data augmentation для LLM (back-translation, paraphrasing, masking)
• 687. Как вы делаете synthetic eval (генерация тестовых вопросов по документам)
• 690. Как вы измеряете diversity синтетического датасета
• 695. Как вы делаете synthetic data для multi-turn диалогов (агентов)
• 700. Как вы комбинируете реальные и синтетические данные для максимального качества
• 713. Как работает Mamba (State Space Model) и чем она лучше трансформера
• 732. Что такое EU AI Act и как оно влияет на деплой LLM в production
• 736. Что такое red teaming certification (стандарты 2026 для оценки robustness)
• 811. Что такое «message bus» для агентов (Kafka, NATS, Redis PubSub)
• 853. Как организовать feature store для AI (Feast, Hopsworks)
• 871. Как делать pairwise ranking для сравнения моделей
• 875. Как делать synthetic eval datasets для agentic workflows
• 800+ вопросов
• 40. Настроить hot shard detection
• 47. Реализовать query drift детекцию
• 178. Настроить exactly-once delivery
• 270. Настроить RLAIF для генерации предпочтений
• 277. Реализовать LLM-as-Judge с калибровкой
• 284. Настроить pairwise evaluation для моделей

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление