Skip-gram
Skip-gram
Определение
Skip-gram — одна из архитектур модели Word2Vec, которая предсказывает контекстные слова (соседние) по заданному целевому слову. В отличие от CBOW, где по контексту восстанавливается слово, здесь наоборот: по одному слову модель учится предсказывать его окружение. Это позволяет получать векторные представления слов (эмбеддинги), отражающие семантическую близость.
Где встречается
- 911. Что такое Word2Vec (CBOW и Skip-gram) и fastText? Чем отличаются от контекстуаль
- 925. Что такое GloVe? Чем отличается от Word2Vec (матричные разложения vs локальные контексты)?
- 924. Как обучается Word2Vec? Объясните Negative Sampling и иерархический softmax.