KV cache explosion
KV cache explosion
Определение
Проблема при работе с длинными контекстами, когда размер кэша внимания растёт квадратично от длины последовательности, вызывая нехватку памяти.
Проблема при работе с длинными контекстами, когда размер кэша внимания растёт квадратично от длины последовательности, вызывая нехватку памяти.