Gap Sentence Generation
Gap Sentence Generation
Определение
Gap Sentence Generation (GSG) — это метод предобучения языковых моделей для задач суммаризации, при котором из текста удаляются важные предложения, и модель обучается восстанавливать их на основе оставшегося контекста. В отличие от маскирования отдельных токенов (как в BERT), GSG фокусируется на целых предложениях, что позволяет модели лучше понимать структуру документа и выделять ключевую информацию. Данный подход лёг в основу модели PEGASUS, которая показывает высокие результаты в абстрактивной и экстрактивной суммаризации.