Mixed precision
Mixed precision
Определение
Mixed precision — это техника обучения нейронных сетей, при которой для хранения весов, активаций и градиентов используются как 16-битные (например, float16 или bfloat16), так и 32-битные числа с плавающей точкой. Это позволяет сократить потребление памяти и ускорить вычисления за счёт использования тензорных ядер GPU. Обычно применяется вместе с масштабированием потерь (loss scaling) для сохранения точности.