Pruning heads

Определение

Удаление неактивных голов внимания в трансформере для уменьшения избыточности и ускорения инференса.

Где встречается

• 668. Что такое индуктивные biases трансформеров (positional invariance, order sensitivity)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление