distributed cache

Определение

Техника хранения часто запрашиваемых данных в оперативной памяти нескольких узлов кластера для снижения задержек и нагрузки на LLM.