BART

Определение

BART (Bidirectional and Auto‑Regressive Transformer) — модель для задач обработки естественного языка, сочетающая двунаправленный кодировщик (как в BERT) и авторегрессионный декодировщик (как в GPT). Предобучение выполняется как denoising autoencoder: исходный текст искажается шумом (например, маскировкой, перестановкой токенов), а модель учится восстанавливать исходную последовательность.

Где встречается

• 908. Какие подходы к суммаризации текста вы знаете? Чем extractive отличается от abstractive? Назовите плюсы и минусы

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление