English translation is not available yet. Showing Russian content.
catastrophic forgetting
catastrophic forgetting
Определение
Потеря ранее усвоенных знаний при дообучении модели на новой задаче. Предотвращается специальными техниками, такими как регуляризация или реплей-буфер.
Где встречается
- 21. Когда вы выбираете fine-tuning вместо RAG, а когда — наоборот
- 22. Какие методы fine-tuning вы знаете и какой используете чаще всего
- 25. Как вы оцениваете качество после fine-tuning
- 26. Как вы предотвращаете catastrophic forgetting при fine-tuning
- 28. Какие данные нужны для fine-tuning на кастомный стиль общения
- 34. Какая у вас была самая сложная проблема при fine-tuning и как вы её решили
- 296. Как работает извлечение знаний (knowledge editing) из LLM без переобучения
- 297. Что такое representation engineering (RepE) и зачем он нужен
- 337. Как вы проверяете, что RLHF не сломал базовые способности модели
- 360. Что такое adversarial fine-tuning для защиты от jailbreak
- 391. Как вы проектируете агента, который может работать непрерывно (247) без дрейфа поведения
- 400. Как вы проектируете систему для continuous learning LLM-агента в production — чтобы агент улучшался от взаимодействий с пользователями без переобучения на шум и без катастрофиче...
- 534. Как вы делаете data quality для синтетических датасетов
- 540. Как работает Q-Former в BLIP-2 и зачем он нужен
- 600. Как вы защищаете LLM от градиентных атак (white-box jailbreak)
- 800+ вопросов