English translation is not available yet. Showing Russian content.
Gumbel-Softmax
Gumbel-Softmax
Определение
Непрерывная аппроксимация категориального распределения, позволяющая дифференцировать дискретный выбор токенов при обучении с помощью градиентного спуска.
Где встречается
- 160. Что такое Variational Speculative Decoding (VSD) и чем он революционен
- 599. Что такое adversarial retrieval (атака на retrieval компонент RAG)
- 638. Как работает ∇-Reasoner (градиентный спуск в пространстве токенов на этапе теста)
- 662. Что такое logits и как они связаны с вероятностями temperature scaling