learning rate
learning rate
Определение
Гиперпараметр, определяющий величину шага обновления весов модели при оптимизации; уменьшение learning rate помогает избежать переобучения и стабилизировать обучение.
Где встречается
- 34. Какая у вас была самая сложная проблема при fine-tuning и как вы её решили
- 35. Как вы fine-tune embedding модель под свой домен (а не используете готовую)
- 37. Как вы избегаете переобучения при fine-tuning на маленьком датасете
- 485. Как вы дебажите training instability (loss spikes, divergence)
- 669. Как работает связь между SGD и Adam Почему Adam лучше для LLM
- 800+ вопросов
- 67. Реализовать latent reasoning (∇-Reasoner)
- 223. Fine-tune LoRA для стиля
- 244. Fine-tune QLoRA на 1 GPU
- 269. Реализовать hard negative mining для retrieval
- 273. Реализовать curriculum learning