8-bit

Определение

Квантование весов модели до 8-битных чисел (INT8) для снижения потребления памяти и ускорения инференса за счёт небольшой потери точности.

Где встречается

• 64. Настроить self-consistency для CoT

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление