Knowledge Portal

aivaro.ru

  • Оглавление
  • Вопросы
  • Практика
  • Вики
  • Тесты
  • Поиск
✈Telegram @AetSeidhe
RUEN中文
…
Оглавление/Вики/optimizer step

optimizer step

optimizer step

Определение

Шаг обновления весов модели на основе градиентов, выполняемый оптимизатором после прохода по батчу.

Где встречается

  • 800+ вопросов

Навигация

  • Индекс терминов
  • Индекс разборов
  • Оглавление

Теги

wikiтерминfine-tuningmlops

Обратные ссылки (3)

  • Индекс терминов
  • Почему training 70B модели требует optimizer sharding (ZeRO-3)?
  • Что такое DeepSpeed ZeRO-Offload и когда он полезен?