smooth quantization

Определение

Метод сглаживания выбросов в весах или активациях перед инференсом, позволяющий уменьшить потери точности при низкобитной квантизации, например до FP8.

Где встречается

• 458. Что такое FP8 инференс на H100 (Transformer Engine)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление