GAE

Определение

GAE (Generalized Advantage Estimation) — это метод оценки функции преимущества (advantage), используемый в алгоритмах обучения с подкреплением, особенно в PPO. Он позволяет балансировать между смещением и дисперсией за счёт взвешивания суммы TD-ошибок на несколько шагов вперёд с помощью параметра λ. Чем больше λ (ближе к 1), тем меньше смещение, но выше дисперсия; чем меньше λ, тем больше смещение, но ниже дисперсия.

Где встречается

• 989. GRPO vs PPO
• 990. ReST vs PPO

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление