Shape specialization
Shape specialization
Определение
Оптимизация компиляции LLM-моделей, при которой фиксируются размеры тензоров на этапе компиляции. Это позволяет генерировать более эффективный код за счёт заранее известной формы входных данных.
Оптимизация компиляции LLM-моделей, при которой фиксируются размеры тензоров на этапе компиляции. Это позволяет генерировать более эффективный код за счёт заранее известной формы входных данных.