Toxicity Filtering
Toxicity Filtering
Определение
Toxicity Filtering — это процесс автоматического удаления из обучающего датасета текстов, содержащих токсичный контент (оскорбления, разжигание ненависти, вульгарные выражения и т.д.). Целью является предотвращение генерации вредных или неприемлемых ответов моделью, а также повышение качества данных на этапе предварительной обработки перед pre-training или fine-tuning.