利用Mindspore实现Word2Vec的连续词袋模型(CBOW)和跳词模型(Skip-gram)

2023-12-30 19:28:03

前言:

? ? 问题:传统的词语的向量表达不能反映词和词之间的相似性和相关语义,且表示维度很长,容易造成维度灾难。(如One-Hot表达一个词,就是初始化一个长度为语料库的向量,并将该词所在位置初始化为1,其他位置均为0,维度很长,且无法反映各个词语之间的关系)因此这种局限导致只能完成一些简单的NLP任务。

? ? ?措施:于是为了解决这个问题,就不得不提到Word2Vec了,这是NLP领域经典论文,其核心内容在于它提出的CBOW模型和Skip-gram模型。目的:解决词语表示维度过长的问题 以及 词语的向量表示不能反映语义的问题。

正文:

? ? ? ①CBOW(连续词袋模型),目的:用上下文词来预测中心词。传统的词袋模型(BOW:Bag Of Words)将每个文档视为一个无序词汇集,同时忽略掉文本的语法和语序,只考虑每个词语的出现频率。其本质还是将文本经过分词处理后,统计频率,再将频率组合成向量。

? ? ? ? ?于是,CBOW模型将每个词语的向量表示的长度,人为地固定在某一个范围内。如设置文本窗口长度为5,则中心词前面有两个单词,中心词后面也有两个单词,最后中心词的向量表示的长度为5,向量的每个值为

文章来源:https://blog.csdn.net/qq_60567426/article/details/135298522
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。