expert layers

Определение

MLP-слои в модели MoE, выполняющие роль экспертов. Их распределение между GPU составляет основу экспертного параллелизма.