English translation is not available yet. Showing Russian content.
gated cross-attention
gated cross-attention
Определение
Механизм внимания с гейтингом для интеграции информации из другой модальности (например, изображений) в LLM, применяемый в мультимодальных моделях типа Flamingo.
Где встречается
- 362. Что такое Fuyu-8B и чем архитектурно отличается от GPT-4V
- 367. Что такое Q-Former в BLIP-2 и зачем он нужен
- 545. Как работает мультимодальное выравнивание (alignment) в моделях типа Chameleon (Meta)