importance scoring

Определение

Критерий вытеснения токенов из кэша на основе их вклада в последующие предсказания, используемый в streaming LLM для бесконечного контекста.