Hierarchical Softmax
Hierarchical Softmax
Определение
Hierarchical Softmax — это метод ускорения вычисления softmax в моделях машинного обучения, особенно в NLP, где словарь может быть очень большим. Вместо вычисления вероятности для каждого слова отдельно, метод использует бинарное дерево, где каждое слово представлено листом, а вероятность слова вычисляется как произведение вероятностей на пути от корня к этому листу. Это позволяет снизить вычислительную сложность с O(|V|) до O(log|V|), где |V| — размер словаря.