Knowledge Portal

aivaro.ru

  • Оглавление
  • Вопросы
  • Практика
  • Вики
  • Тесты
  • Поиск
✈Telegram @AetSeidhe
RUEN中文
…
Оглавление/Вики/Gemma

Gemma

Gemma

Определение

Открытая модель от Google с архитектурой grouped-query attention (4 группы). Используется как базовая для fine-tuning и исследований.

Где встречается

  • 277. Что такое multi-query attention (MQA) и grouped-query attention (GQA) и зачем они

Навигация

  • Индекс терминов
  • Индекс разборов
  • Оглавление

Теги

wikiтерминinference

Ссылки

  • Что такое multi-query attention (MQA) и grouped-query attention (GQA) и зачем они?

Обратные ссылки (8)

  • OpenAI vs Anthropic vs Groq vs Self-hosted — что выбираете?
  • Индекс терминов
  • Как вы делаете long context для code generation (модель должна видеть весь репозиторий)?
  • Как работает LayerNorm и RMSNorm? В чем разница и почему RMSNorm быстрее?
  • Как работает Multi-query attention (MQA) для long context?
  • Как работает RMSNorm (Root Mean Square Normalization) и чем лучше LayerNorm?
  • Какие фреймворки для fine-tuning вы используете?
  • Что такое multi-query attention (MQA) и grouped-query attention (GQA) и зачем они?