Next Sentence Prediction (NSP)

Определение

Next Sentence Prediction (NSP) — задача бинарной классификации, используемая при предтренировке модели BERT. Модель получает пару предложений и должна определить, является ли второе предложение логическим продолжением первого (метка IsNext) или случайным (метка NotNext). NSP помогает модели улавливать связи между предложениями, что важно для понимания контекста в задачах обработки текста.

Где встречается

• 911. Word2Vec и fastText

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление