Knowledge Portal

aivaro.ru

  • Оглавление
  • Вопросы
  • Практика
  • Вики
  • Тесты
  • Поиск
✈Telegram @AetSeidhe
RUEN中文
…
Оглавление/Вики/Multi-Latent Attention

Multi-Latent Attention

Multi-Latent Attention

Определение

Сжатие KV-кеша в латентное пространство, более эффективное, чем GQA.

Где встречается

  • 277. Что такое multi-query attention (MQA) и grouped-query attention (GQA) и зачем они

Навигация

  • Индекс терминов
  • Индекс разборов
  • Оглавление

Теги

wikiтерминarchitectureinference

Ссылки

  • Что такое multi-query attention (MQA) и grouped-query attention (GQA) и зачем они?

Обратные ссылки (1)

  • Индекс терминов