shared layers
shared layers
Определение
Слои модели, общие для всех экспертов (например, attention и embeddings), требующие особого размещения при шардировании.
Слои модели, общие для всех экспертов (например, attention и embeddings), требующие особого размещения при шардировании.