Text repetition

Определение

Проблема генерации, при которой модель повторяет одни и те же n-граммы; решается с помощью repetition penalty, а также может быть формой reward hacking в RLHF.

Где встречается

• 293. Что такое Top-p (nucleus) sampling и как он сочетается с temperature
• 344. Что такое reward hacking в RLHF и как его детектировать

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление