Scheduled Sampling

Определение

Scheduled Sampling — гибридный подход к обучению последовательностных моделей, сочетающий элементы Teacher Forcing и автономной генерации. Во время обучения на каждом шаге с вероятностью ε на вход модели подаётся её собственное предсказание с предыдущего шага, а с вероятностью 1-ε — истинный токен из обучающей выборки. Вероятность ε может изменяться по заданному расписанию (например, линейно возрастать), что позволяет плавно переходить от полного Teacher Forcing к полностью автономному режиму, смягчая проблему Exposure Bias.

Где встречается

• 933. Что такое Teacher Forcing при обучении декодера? В чем проблема Exposure Bias?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление