English translation is not available yet. Showing Russian content.
Memory Overhead Ratio
Memory Overhead Ratio
Определение
Отношение суммарного объёма KV-кэша (target + draft) к кэшу только target-модели. Метрика дополнительного потребления памяти при speculative decoding.