The Pile

Определение

Большой открытый корпус текстов для предобучения языковых моделей; включает задачи из бенчмарков, что может приводить к contamination результатов.