sparse MoE
sparse MoE
Определение
Разреженная смесь экспертов (sparse MoE) — архитектура, где при каждом шаге активируется лишь небольшая часть экспертов, что снижает вычислительные затраты при сохранении большого числа параметров.
Разреженная смесь экспертов (sparse MoE) — архитектура, где при каждом шаге активируется лишь небольшая часть экспертов, что снижает вычислительные затраты при сохранении большого числа параметров.