активационная разреженность

Определение

Свойство MoE-моделей, при котором каждый токен активирует лишь малую часть параметров (top-k экспертов), снижая вычислительные затраты при большом общем числе параметров.

Где встречается

• 680. Как работает Mixture of Experts (MoE) внутри LLM (спарсинг активации)
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление