DeepSeek-MoE

Определение

Mixture of Experts модель с 64 экспертами, k=6 и shared expert. Использует fine-grained эксперты для эффективного масштабирования.

Где встречается

• 680. Как работает Mixture of Experts (MoE) внутри LLM (спарсинг активации)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление