Seq2Seq
Seq2Seq
Определение
Seq2Seq (Sequence-to-Sequence) — класс архитектур нейронных сетей, предназначенных для преобразования одной последовательности (например, текста на исходном языке) в другую последовательность (например, перевод). Обычно состоит из двух компонентов: энкодера, который кодирует входную последовательность в контекстный вектор, и декодера, который генерирует выходную последовательность на основе этого вектора. Широко применяется в машинном переводе, суммаризации текста и диалоговых системах.
Где встречается
- 908. Какие подходы к суммаризации текста вы знаете? Чем extractive отличается от abstractive? Назовите плюсы и минусы.
- 931. Что такое Sequence-to-Sequence (Seq2Seq) модели? Чем архитектура T5 отличается от GPT?
- 933. Что такое Teacher Forcing при обучении декодера? В чем проблема Exposure Bias?