Knowledge Portal

aivaro.ru

  • Contents
  • Questions
  • Practice
  • Wiki
  • Tests
  • Search
✈Telegram @AetSeidhe
RUEN中文
…
Contents/Wiki/optimizer step

English translation is not available yet. Showing Russian content.

optimizer step

optimizer step

Определение

Шаг обновления весов модели на основе градиентов, выполняемый оптимизатором после прохода по батчу.

Где встречается

  • 800+ вопросов

Навигация

  • Индекс терминов
  • Индекс разборов
  • Оглавление

Теги

wikiтерминfine-tuningmlops

Обратные ссылки (3)

  • Индекс терминов
  • Почему training 70B модели требует optimizer sharding (ZeRO-3)?
  • Что такое DeepSpeed ZeRO-Offload и когда он полезен?