per-tensor scaling

Определение

Метод квантования, при котором один коэффициент масштабирования применяется ко всему тензору, что упрощает реализацию, но может снижать точность по сравнению с поканальным.

Где встречается

• 458. Что такое FP8 инференс на H100 (Transformer Engine)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление