Shared Tokenizer

Определение

Компонент, обрабатывающий как текст, так и изображения через единый словарь токенов, включая специальные SENTINEL токены.