Fairscale

Определение

Библиотека от Meta для масштабирования обучения, поддерживающая экспертный параллелизм (expert parallelism) для MoE-моделей.

Где встречается

• 849. Что такое expert parallelism для MoE моделей (Mixtral)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление