llama-cpp-python
llama-cpp-python
Определение
Библиотека для инференса LLM с поддержкой GPU/CPU. Позволяет симулировать LLM вызовы.
Где встречается
- 90. Как вы проектируете API для внешних систем, использующих вашу LLM
- 101. Реализовать Agent Loop с нуля