Router Collapse

Определение

Проблема в Mixture of Experts, при которой роутер выбирает одних и тех же экспертов для большинства токенов, что приводит к недообучению остальных экспертов.

Где встречается

• 680. Как работает Mixture of Experts (MoE) внутри LLM (спарсинг активации)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление