中文翻译暂不可用，显示俄语原文。
8-bit inference
8-bit inference
Определение
Инференс модели с весами, отквантованными до 8 бит. В некоторых случаях может быть медленнее 4-битного из-за особенностей аппаратного ускорения и размера батча.
中文翻译暂不可用，显示俄语原文。
Инференс модели с весами, отквантованными до 8 бит. В некоторых случаях может быть медленнее 4-битного из-за особенностей аппаратного ускорения и размера батча.