Input compression
Input compression
Определение
Сокращение длины промпта путём удаления стоп-слов или перефразирования для снижения задержки и затрат на инференс.
Сокращение длины промпта путём удаления стоп-слов или перефразирования для снижения задержки и затрат на инференс.