delayed scaling

Определение

Метод калибровки масштабов в Transformer Engine для FP8 quantization на H100, при котором scaling factor применяется с задержкой для компенсации сильных выбросов.

Где встречается

• 312. Как работает FP8 quantization на H100 (Transformer Engine)
• 214. Реализовать FP8 инференс на H100

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление