Micro-batch

Определение

Micro-batch — это минимальная порция данных, на которую разбивается один шаг обучения при использовании метода накопления градиентов (gradient accumulation). Вместо одновременной обработки всего батча (batch) модель последовательно обрабатывает несколько микро-батчей, суммируя их градиенты, и только затем обновляет веса. Это позволяет обучать модели с эффективным размером батча, превышающим объём доступной памяти GPU.

Где встречается

• 980. Как сделать fine-tuning модели на 1 млн токенов контекста (например, для анализа кодовой базы)? Технические ограничения.

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление