Compute/communication ratio

Определение

Отношение объема вычислений к объему переданных данных. Используется для выбора оптимальной стратегии параллелизма, например, tensor parallelism.

Где встречается

• 840. Когда tensor parallelism хуже pipeline parallelism
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление