expert parallelism

Определение

Техника распределённого обучения и инференса для MoE-моделей, при которой разные эксперты размещаются на разных GPU для ускорения и масштабирования.