English translation is not available yet. Showing Russian content.
large batches
large batches
Определение
Большие батчи при обучении LLM увеличивают шум градиентов, что может ухудшить сходимость. Оптимизаторы типа Adam лучше справляются с такими условиями, чем SGD.