warmup steps
warmup steps
Определение
Этап постепенного увеличения learning rate с нуля до целевого значения в начале обучения для стабилизации и предотвращения расходимости.
Где встречается
- 35. Как вы fine-tune embedding модель под свой домен (а не используете готовую)
- 466. Что такое curriculum learning для LLM и как его реализовать
- 468. Почему small batch size (32) ухудшает training стабильность
- 485. Как вы дебажите training instability (loss spikes, divergence)
- 659. Что такое Adam optimizer и как работают его параметры (β1, β2, ε, learning rate)
- 665. Как работает инициализация весов в LLM (Xavier, Kaiming, почему важна)
- 669. Как работает связь между SGD и Adam Почему Adam лучше для LLM
- 673. Как работает нормализация перед attention (pre-norm) vs после (post-norm)
- 800+ вопросов
- 52. Настроить RWKV для инференса
- 60. Настроить гибрид (Mamba + Attention)
- 269. Реализовать hard negative mining для retrieval