Token-level-evaluation
Token-level-evaluation
Определение
Метрика оценки качества модели, вычисляемая на уровне отдельных токенов (слов, символов или подслов), а не на уровне целых сущностей, предложений или документов. Часто применяется в задачах NER (Named Entity Recognition) для пословной или посимвольной оценки. Распространенной ошибкой является убеждение, что micro‑F1 в NER автоматически считается на токенах — на самом деле micro‑F1 может вычисляться как на уровне токенов, так и на уровне сущностей, и важно различать эти подходы.