Expert Specialization

Определение

Метрика, измеряющая степень, с которой различные эксперты в Mixture of Experts модели специализируются на разных типах токенов.