quantized verification
quantized verification
Определение
Метод применения low-bit квантизации (например, INT4) только на этапе верификации в speculative decoding. Уменьшает memory traffic и увеличивает пропускную способность без потери качества финального ответа.