Column-wise

Определение

Способ разрезания матрицы весов по столбцам при реализации tensor parallelism, используемый как в инференсе, так и в обучении LLM.

Где встречается

• 401. Как работает tensor parallelism для LLM инференса В чем отличие от pipeline parallelism
• 423. Как работает tensor parallelism для LLM training Чем отличается от инференса

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление