multimodal retrieval
multimodal retrieval
Определение
Процесс поиска релевантных документов в одной модальности по запросу в другой (например, поиск изображений по тексту). Использует выровненные эмбеддинги, такие как CLIP.
Где встречается
- 117. Какие embedding-модели для мультимодального поиска вы используете CLIP, BLIP-2, ImageBind
- 361. Как работает CLIP и как training contrastive loss выравнивает текст и изображения