English translation is not available yet. Showing Russian content.
Cross-attention
Cross-attention
Определение
Механизм внимания, при котором запросы из одной последовательности (например, декодер) обращаются к ключам и значениям другой последовательности (например, энкодер), позволяя модели выборочно интегрировать информацию из разных источников данных.
Где встречается
- 113. Как вы представляете граф знаний из изображения для LLM
- 363. Как работает Whisper (architecture, tokenization, training) для ASR
- 365. Как работает мультимодальное выравнивание (alignment) в моделях типа Chameleon (Meta)
- 367. Что такое Q-Former в BLIP-2 и зачем он нужен
- 539. Что такое Fuyu-8B и чем архитектурно отличается от GPT-4V
- 540. Как работает Q-Former в BLIP-2 и зачем он нужен
- 543. Как работает Whisper архитектурно для ASR (Automatic Speech Recognition)
- 549. Как вы проектируете систему для real-time video understanding (поток с камеры)
- 551. Как работает AudioLM и MusicGen для генерации аудио
- 564. Как работает модели типа Kosmos-2 (grounding объектов на изображении)
- 651. Как работает attention математически Выведите формулу scaled dot-product attention.
- 652. Почему в формуле attention нужно делить на √d_k Что будет без масштабирования
- 800+ вопросов