onnxruntime-genai

Определение

Расширение ONNX Runtime для генеративных моделей, добавляющее кэширование KV-кэша, beam search и оптимизированные ядра attention.

Где встречается

• 320. Что такое ONNX Runtime и когда он выгоден для LLM

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление