Layout Optimization

Определение

Перестановка тензоров в модели для улучшения использования кэша процессора, дающая до 10% ускорения инференса. Применяется в ONNX Runtime.

Где встречается

• 320. Что такое ONNX Runtime и когда он выгоден для LLM

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление