catastrophic forgetting
catastrophic forgetting
Определение
Потеря ранее усвоенных знаний при дообучении модели на новой задаче. Предотвращается специальными техниками, такими как регуляризация или реплей-буфер.
Где встречается
- 21. Когда вы выбираете fine-tuning вместо RAG, а когда — наоборот
- 22. Какие методы fine-tuning вы знаете и какой используете чаще всего
- 25. Как вы оцениваете качество после fine-tuning
- 26. Как вы предотвращаете catastrophic forgetting при fine-tuning
- 28. Какие данные нужны для fine-tuning на кастомный стиль общения
- 34. Какая у вас была самая сложная проблема при fine-tuning и как вы её решили
- 296. Как работает извлечение знаний (knowledge editing) из LLM без переобучения
- 297. Что такое representation engineering (RepE) и зачем он нужен
- 337. Как вы проверяете, что RLHF не сломал базовые способности модели
- 360. Что такое adversarial fine-tuning для защиты от jailbreak
- 391. Как вы проектируете агента, который может работать непрерывно (247) без дрейфа поведения
- 400. Как вы проектируете систему для continuous learning LLM-агента в production — чтобы агент улучшался от взаимодействий с пользователями без переобучения на шум и без катастрофиче...
- 534. Как вы делаете data quality для синтетических датасетов
- 540. Как работает Q-Former в BLIP-2 и зачем он нужен
- 600. Как вы защищаете LLM от градиентных атак (white-box jailbreak)
- 800+ вопросов