BF16

Определение

16-битный формат с плавающей точкой с 8-битной экспонентой (как у FP32), устойчивый к переполнению и предпочтительный для обучения LLM.

Где встречается

• 312. Как работает FP8 quantization на H100 (Transformer Engine)
• 461. Почему training 70B модели требует optimizer sharding (ZeRO-3)
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление