中文翻译暂不可用，显示俄语原文。
Hidden dimension
Hidden dimension
Определение
Размерность скрытого слоя модели, определяющая объём all-reduce и вычислительную нагрузку при тензорном параллелизме.
Где встречается
- 203. Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.
- 840. Когда tensor parallelism хуже pipeline parallelism
- 65. Реализовать process reward model