Up-training

Определение

Метод дообучения модели с multi-head attention (MHA), при котором веса преобразуются в grouped-query attention (GQA) через проекции, что позволяет ускорить инференс без значительной потери качества.

Где встречается

• 434. Как работает grouped-query attention (GQA) и как trade-off speedquality

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление