log_softmax

Определение

Численно стабильная комбинация логарифма и softmax, применяемая в функциях потерь (например, кросс-энтропия) для предотвращения переполнения при больших логитах.

Где встречается

• 656. Как работает кросс-энтропия (cross-entropy loss) для LLM обучения
• 661. Как работает softmax и почему он вызывает проблемы с градиентами при больших logits
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление