Row-wise

Определение

Способ разрезания матрицы весов по строкам при tensor parallelism для распределения вычислений между устройствами.

Где встречается

• 401. Как работает tensor parallelism для LLM инференса В чем отличие от pipeline parallelism
• 423. Как работает tensor parallelism для LLM training Чем отличается от инференса

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление