expert layers

Определение

MLP-слои в модели MoE, выполняющие роль экспертов. Их распределение между GPU составляет основу экспертного параллелизма.

Где встречается

• 215. Настроить expert parallelism для Mixtral

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление