LongNet

Определение

Архитектура с разреженным вниманием (sparse attention), предлагаемая как альтернатива grouped-query attention (GQA) для работы с длинными контекстами.

Где встречается

• 641. Что такое grouped-query attention (GQA) как компромисс для long context

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление