GPT
GPT
Определение
GPT (Generative Pre-trained Transformer) — это семейство языковых моделей, основанных на архитектуре трансформера, использующих только декодер и работающих авторегрессивно. Модель генерирует следующий токен, опираясь исключительно на левый контекст (одностороннее внимание), что эффективно для задач генерации текста. Предварительное обучение на больших корпусах текстов позволяет GPT успешно применяться в различных NLP-задачах без дополнительной настройки.
Где встречается
- 914. Объясните задачу Text Classification
- 922. Что такое Language Model
- 927. Как работает Byte-Pair Encoding (BPE)
- 928. Что такое SentencePiece
- 931. Что такое Seq2Seq