memory footprint
memory footprint
Определение
Объём оперативной памяти (RAM или GPU RAM), потребляемый моделью или индексом во время инференса. Ключевая метрика для развёртывания на устройствах с ограниченными ресурсами.
Где встречается
- 235. Как вы выбираете ANN алгоритм под ваш use case (volume, dimensionality, budget)
- 300. Как вы сравниваете две LLM архитектуры не по accuracy, а по efficiency
- 324. Что такое TVM (Apache TVM) и зачем он нужен для AI инференса
- 423. Как работает tensor parallelism для LLM training Чем отличается от инференса
- 461. Почему training 70B модели требует optimizer sharding (ZeRO-3)
- 800+ вопросов