GLaM

Определение

Разреженная Mixture-of-Experts модель от Google с 1.2 трлн параметров, 64 экспертами и k=2 активациями на токен, обученная на 1.6 трлн токенов.

Где встречается

• 680. Как работает Mixture of Experts (MoE) внутри LLM (спарсинг активации)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление