selective activation recomputation

Определение

Метод оптимизации памяти при обучении и инференсе больших моделей, при котором пересчитываются только выбранные активации (например, каждого второго слоя) для баланса между памятью и скоростью.

Где встречается

• 480. Как работает selective activation recomputation
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление