Contrastive decoding
Contrastive decoding
Определение
Метод декодирования, который сравнивает распределения вероятностей с контекстом и без для выявления галлюцинаций, а также штрафует повторяющиеся n-граммы и уменьшает сходство с предыдущими токенами.
Где встречается
- 17. Как вы уменьшаете галлюцинации в RAG
- 293. Что такое Top-p (nucleus) sampling и как он сочетается с temperature
- 679. Что такое repetition penalty и как он работает