Model collapse
Model collapse
Определение
Model collapse (коллапс модели) — это явление, при котором модель машинного обучения, обучаемая на собственных сгенерированных данных, постепенно теряет разнообразие и начинает зацикливаться на ограниченном наборе «мнимых» удачных траекторий. Это приводит к ухудшению качества генерации и снижению способности модели к обобщению. В контексте обучения с подкреплением коллапс модели может проявляться как mode collapse, когда генератор фокусируется на узком подмножестве возможных выходов.
Где встречается
- 941. Что такое Text Augmentation с помощью LLM (генерация парафраз, изменение тональн)
- 990. Как работает ReST (Reinforced Self-Training)? Чем отличается от PPO (итеративное обучение на собственных генерациях)?