DataCollatorForLanguageModeling

Определение

DataCollatorForLanguageModeling — это класс из библиотеки Hugging Face Transformers, предназначенный для подготовки батчей данных при обучении языковых моделей. Он автоматически создаёт labels для задач маскированного языкового моделирования (MLM) и причинного языкового моделирования (CLM). При установке параметра mlm=False коллатор не применяет маскировку токенов, а просто копирует входные input_ids в labels, что полезно для задач генерации текста или fine-tuning на диалогах.

Где встречается

• 975. Какую функцию потерь использовать для fine-tuning на диалогах

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление