perplexity anomaly
perplexity anomaly
Определение
Аномально низкая perplexity модели на тестовом примере указывает на то, что пример мог быть в обучающем наборе.
Где встречается
- 693. Как вы обнаруживаете contamination (пересечение synthetic данных с тестовыми)
- 869. Как избежать benchmark contamination (когда модель видела тестовые данные)
- 800+ вопросов