Top-p sampling
Top-p sampling
Определение
Top-p sampling (nucleus sampling) — метод генерации текста, при котором на каждом шаге выбирается наименьшее множество токенов, чья кумулятивная вероятность достигает порога p (например, 0.95). Затем из этого «ядра» токенов производится ресемплинг, что позволяет динамически учитывать неопределённость распределения. Часто комбинируется с температурой для дополнительного контроля «креативности» модели.
Где встречается
- 950. Как спроектировать систему поиска ответов на вопросы (QA) на основе SQuAD-подобн
- 964. Как вы генерируете синтетический датасет для instruction tuning (Self-Instruct, Evol-Instruct)?