CBOW
CBOW
Определение
CBOW (Continuous Bag-of-Words) — одна из архитектур модели Word2Vec для обучения векторных представлений слов. Задача CBOW — предсказать целевое слово по его контекстным словам (окну фиксированного размера). В отличие от Skip-gram, CBOW быстрее обучается на больших корпусах и даёт более гладкие эмбеддинги для частотных слов.
Где встречается
- 911. Что такое Word2Vec (CBOW и Skip-gram) и fastText? Чем отличаются от контекстуальных эмбеддингов типа BERT?
- 925. Что такое GloVe? Чем отличается от Word2Vec (матричные разложения vs локальные контексты)?
- 924. Как обучается Word2Vec? Объясните Negative Sampling и иерархический softmax.