Falcon

Определение

Открытая языковая модель с Multi-Query Attention (одна группа ключей/значений), оптимизированная для работы с длинными контекстами.

Где встречается

• 277. Что такое multi-query attention (MQA) и grouped-query attention (GQA) и зачем они
• 641. Что такое grouped-query attention (GQA) как компромисс для long context
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление