Critic

Определение

Critic (модель ценности) — это отдельная нейросеть, которая оценивает ожидаемую сумму будущих наград (value function) из данного состояния. В алгоритмах Actor-Critic, таких как PPO, Critic используется для вычисления преимущества (advantage) и уменьшения дисперсии при обновлении политики Actor.

Где встречается

• 986. Как работает PPO для LLM?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление