FP4

Определение

4-битный формат чисел с плавающей точкой для экстремальной квантизации модели. Используется для значительного снижения объёма данных из HBM, жертвуя точностью.

Где встречается

• 301. Как устроена иерархия памяти GPU (Global, L2, Shared, Registers) и как это влияет на LLM инференс

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление