Dense model

Определение

Плотная модель (dense model) — нейронная сеть, в которой все параметры каждого слоя активируются для каждого входа. Противопоставляется разреженным моделям (MoE), где активируется лишь часть экспертов.

Где встречается

• 435. Почему MoE (Mixture of Experts) быстрее dense модели при инференсе
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление