bias
bias
Определение
Систематическое отклонение в оценках или предсказаниях модели, которое может усиливаться при обучении на синтетических данных или через RLHF.
Где встречается
- 32. Как вы подготовите датасет для fine-tuning, если у вас только неструктурированные диалоги с клиентами
- 132. Как вы калибруете LLM-судью под человеческие оценки
- 133. Альтернативы LLM-as-Judge — назовите 3 и их ограничения.
- 330. Что такое RLAIF (RL from AI Feedback) и как он масштабируется
- 341. Как вы проектируете бенчмарк для нового домена (медицина, юриспруденция)
- 349. Как вы проводите AB тест метрик качества (не бизнес-метрик)
- 358. Что такое watermarking для LLM генераций и как его детектировать
- 388. Что такое SLI (Service Level Indicators) для AI системы и как их собирать
- 419. Что такое Kafka compaction для логов LLM взаимодействий
- 502. Как вы AB тестируете две версии промпта в production
- 514. Как вы генерируете synthetic данные для instruction tuning
- 534. Как вы делаете data quality для синтетических датасетов
- 681. Как вы генерируете синтетический датасет для instruction tuning Self-instruct, Evol-Instruct
- 683. Что такое data augmentation для LLM (back-translation, paraphrasing, masking)
- 687. Как вы делаете synthetic eval (генерация тестовых вопросов по документам)
- 690. Как вы измеряете diversity синтетического датасета
- 695. Как вы делаете synthetic data для multi-turn диалогов (агентов)
- 700. Как вы комбинируете реальные и синтетические данные для максимального качества
- 713. Как работает Mamba (State Space Model) и чем она лучше трансформера
- 732. Что такое EU AI Act и как оно влияет на деплой LLM в production
- 736. Что такое red teaming certification (стандарты 2026 для оценки robustness)
- 811. Что такое «message bus» для агентов (Kafka, NATS, Redis PubSub)
- 853. Как организовать feature store для AI (Feast, Hopsworks)
- 871. Как делать pairwise ranking для сравнения моделей
- 875. Как делать synthetic eval datasets для agentic workflows
- 800+ вопросов
- 40. Настроить hot shard detection
- 47. Реализовать query drift детекцию
- 178. Настроить exactly-once delivery
- 270. Настроить RLAIF для генерации предпочтений
- 277. Реализовать LLM-as-Judge с калибровкой
- 284. Настроить pairwise evaluation для моделей