Hidden dimension

Определение

Размерность скрытого слоя модели, определяющая объём all-reduce и вычислительную нагрузку при тензорном параллелизме.

Где встречается

• 203. Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.
• 840. Когда tensor parallelism хуже pipeline parallelism
• 65. Реализовать process reward model

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление