Tutel
Tutel
Определение
Tutel — фреймворк от Microsoft для обучения и инференса Mixture-of-Experts моделей, реализующий expert parallelism для эффективного распределения экспертов по устройствам.
Tutel — фреймворк от Microsoft для обучения и инференса Mixture-of-Experts моделей, реализующий expert parallelism для эффективного распределения экспертов по устройствам.