Transformer Engine
Transformer Engine
Определение
Аппаратный модуль и программная библиотека NVIDIA для автоматического управления FP8 quantization и масштабированием на H100/B200.
Где встречается
- 303. Как работают Tensor Cores в H100B200 и для чего они нужны
- 312. Как работает FP8 quantization на H100 (Transformer Engine)
- 324. Что такое TVM (Apache TVM) и зачем он нужен для AI инференса
- 458. Что такое FP8 инференс на H100 (Transformer Engine)
- 666. Что такое FP16, BF16, FP8, INT8 quantization Когда что использовать
- 710. Бенчмаркинг LLM на AMD MI300X vs H100 различия в архитектуре и оптимизации
- Практика
- 800+ вопросов
- 214. Реализовать FP8 инференс на H100