Machine epsilon

Определение

Мера точности представления чисел с плавающей точкой. Для BF16 составляет ~7.8e-3, для FP16 ~9.8e-4; влияет на потерю малых градиентов при обучении.

Где встречается

• 464. Почему BF16 лучше FP16 для training

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление