Straight-Through Estimator
Straight-Through Estimator
Определение
Straight-Through Estimator (STE) — это метод аппроксимации градиентов для недифференцируемых операций, таких как округление. В контексте Quantization-Aware Training (QAT) STE заменяет производную округления на 1, что позволяет обратному распространению ошибки «проходить насквозь» через квантование. Это ключевой приём для обучения нейронных сетей с квантованными весами и активациями.