FP8-aware training

Определение

Метод обучения или дообучения модели с имитацией FP8 квантизации для минимизации потери точности при последующем FP8 инференсе. Позволяет сократить падение метрик (например, MMLU) до 0.5-1%.

Где встречается

• 458. Что такое FP8 инференс на H100 (Transformer Engine)
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление