large batches
large batches
Определение
Большие батчи при обучении LLM увеличивают шум градиентов, что может ухудшить сходимость. Оптимизаторы типа Adam лучше справляются с такими условиями, чем SGD.
Большие батчи при обучении LLM увеличивают шум градиентов, что может ухудшить сходимость. Оптимизаторы типа Adam лучше справляются с такими условиями, чем SGD.