English translation is not available yet. Showing Russian content.
KV cache explosion
KV cache explosion
Определение
Проблема при работе с длинными контекстами, когда размер кэша внимания растёт квадратично от длины последовательности, вызывая нехватку памяти.