INT4

Определение

Формат целых чисел с низкой точностью (0.5 байта), применяемый для квантования KV cache при инференсе LLM для экономии памяти.

Где встречается

• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление