FP32

Определение

32-битный формат чисел с плавающей точкой (float32) одинарной точности. Используется как эталонный формат для сравнения точности, для хранения мастер-весов при смешанном обучении и для эмбеддингов до сжатия.

Где встречается

• 7. Как вы уменьшаете latency RAG-системы (время ответа)
• 77. Как вы оптимизируете embedding генерацию для большого количества документов
• 223. Как работает Product Quantization (PQ) для сжатия векторов
• 433. Почему KV cache растет линейно с длиной контекста и как это оптимизировать
• 461. Почему training 70B модели требует optimizer sharding (ZeRO-3)
• 464. Почему BF16 лучше FP16 для training
• 469. Как работает Mixed Precision Training (FP16 + FP32 master веса)
• 705. Как работает Tensor Core microarchitecture (WGMMA, MMA инструкции) в H100
• 800+ вопросов
• 12. Настроить mmap для embeddings
• 52. Настроить RWKV для инференса

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление