Megablocks

Определение

Библиотека для эффективного expert parallelism в MoE моделях, оптимизирующая разреженные матричные умножения и коммуникацию.

Где встречается

• 849. Что такое expert parallelism для MoE моделей (Mixtral)
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление