Pretraining
Pretraining
Определение
Pretraining — это начальный этап обучения языковой модели на больших объёмах неразмеченных текстовых данных, в ходе которого модель учится предсказывать слова или части текста, формируя общее понимание языка и закономерностей. Этот этап предшествует последующим этапам настройки, таким как Supervised Fine-Tuning (SFT) и Reinforcement Learning from Human Feedback (RLHF). Базовый претренинг обеспечивает начальные знания, которые затем уточняются на специализированных задачах.