Токен-классификация
Токен-классификация
Определение
Токен-классификация — это задача NLP, в которой каждому токену (слову или его части) в последовательности присваивается метка из заданного набора. Обычно решается путем fine-tuning предобученной модели (например, BERT) с добавлением головного слоя классификации. Применяется для распознавания именованных сущностей (NER), разметки частей речи (POS-tagging) и других задач поштучной аннотации текста.