English translation is not available yet. Showing Russian content.
quantized verification
quantized verification
Определение
Метод применения low-bit квантизации (например, INT4) только на этапе верификации в speculative decoding. Уменьшает memory traffic и увеличивает пропускную способность без потери качества финального ответа.