DeBERTa

Определение

DeBERTa (Decoding-enhanced BERT with disentangled attention) — это улучшенная версия архитектуры BERT, разработанная Microsoft. Ключевые нововведения включают разделённое внимание (disentangled attention), где внимание вычисляется отдельно для содержимого и позиции токенов, а также улучшенный механизм маскирования (enhanced mask decoder). Благодаря этим изменениям DeBERTa превосходит BERT и RoBERTa на многих бенчмарках NLP, особенно на задачах понимания естественного языка (NLU).

Где встречается

• 965. Как вы проверяете качество синтетических данных (LLM-as-Judge, человеческая валидация, outlier detection)?
• 994. Что такое Constitutional AI? Как использовать правила (constitution) для генерации preference данных без людей?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление