BERT-base

Определение

BERT-base — это базовая архитектура модели BERT (Bidirectional Encoder Representations from Transformers), содержащая 12 слоёв Transformer encoder, 768 скрытых единиц, 12 голов внимания и 110 миллионов параметров. Благодаря относительно небольшому размеру она часто используется в качестве отправной точки для тонкой настройки (fine-tuning) на задачах NLP, включая те, где возникает проблема катастрофического забывания.

Где встречается

• 966. Что такое Catastrophic Forgetting при fine-tuning? Как его предотвратить (EWC, replay, LoRA)?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление