English translation is not available yet. Showing Russian content.
sparse MoE
sparse MoE
Определение
Разреженная смесь экспертов (sparse MoE) — архитектура, где при каждом шаге активируется лишь небольшая часть экспертов, что снижает вычислительные затраты при сохранении большого числа параметров.