Pass@1

Определение

Метрика точности генерации кода или ответа, при которой правильным считается первый сгенерированный вариант, совпадающий с эталоном. Используется в бенчмарках типа HumanEval.

Где встречается

• 24. Какой размер датасета нужен для fine-tuning
• 127. Реализовать outsourcing другому LLM
• 210. Сравнить GPTQ vs AWQ на reasoning задачах

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление