Denoising autoencoder
Denoising autoencoder
Определение
Denoising autoencoder (шумоподавляющий автоэнкодер) — это разновидность автоэнкодера, которая обучается восстанавливать исходные данные из их зашумленных версий. В контексте NLP, например, при предобучении модели BART, текст намеренно портится (добавляется шум), и модель учится восстанавливать исходный текст, что позволяет ей понимать структуру языка. Такой подход используется для генерации скрытых представлений и улучшения качества downstream-задач.