data mixing

Определение

Стратегия перемешивания данных из разных источников (RLHF, SFT, книги, веб, код) в батчах для предотвращения забывания и улучшения обучения.

Где встречается

• 337. Как вы проверяете, что RLHF не сломал базовые способности модели
• 477. Что такое curriculum learning на уровне данных для LLM

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление