repetition penalty
repetition penalty
Определение
Техника LLM inference, при которой логит уже сгенерированного токена делится на коэффициент больше 1 на каждом шаге, снижая вероятность повторений и зацикливания.
Где встречается
- 292. Как работает temperature sampling и как он влияет на качество при разных значениях
- 293. Что такое Top-p (nucleus) sampling и как он сочетается с temperature
- 679. Что такое repetition penalty и как он работает
- 800+ вопросов