Target KL

Определение

Целевое значение KL divergence для adaptive KL penalty в RLHF, обычно 0.01–0.1 на токен.

Где встречается

• 332. Как работает KL penalty в RLHF и как подобрать коэффициент

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление