Elastic Weight Consolidation
Elastic Weight Consolidation
Определение
Elastic Weight Consolidation (EWC) — метод регуляризации для последовательного обучения (continual learning), предотвращающий катастрофическое забывание. Он добавляет штраф за изменение весов, которые считаются важными для предыдущих задач, вычисляя их значимость через матрицу Фишера. Это позволяет модели осваивать новые задачи, сохраняя производительность на старых.