Per-token quantization

Определение

Метод квантования, при котором для каждого токена используются отдельные параметры масштабирования, что позволяет точнее представлять распределение значений и уменьшить потери точности.

Где встречается

• 642. Как вы реализуете KV cache для 1M токенов на 8x H100

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление