FP16

Определение

Формат чисел с плавающей точкой половинной точности (16 бит), используемый для уменьшения памяти и ускорения вычислений, например, для хранения весов и KV cache.

Где встречается

• 203. Tensor parallelism vs pipeline parallelism vs data parallelism — сравните для LLM инференса.
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление