common tokenizer

Определение

Токенизатор, способный обрабатывать как текст, так и изображения, используемый в мультимодальных моделях для единого представления данных.