Word2Vec 究竟选择Tensorflow还是 gensim

简介: 最近想训练专业领域的语料库,深度学习领域python的版本较多,国内普遍使用gensim来训练,而word2vec是Google提出的,Tensorflow上有例子实现。

最近想训练专业领域的语料库,深度学习领域python的版本较多,国内普遍使用gensim来训练,而word2vec是Google提出的,Tensorflow上有例子实现。最近tensorflow越来越流行,所以考虑采用tensorflow来训练,可能能达到更快的训练速度,在技术方案上更符合主流。经过一周的实验,发现效果不如人意。具体如下:
-网上评估gensim的效果比tensorflow好很多。原文链接
-没有找到tensorflow运行windows上的word2vec说明,word2vec_basic运行没有问题,但高级版需要编译op。
-没有找到tensorflow上word2vec版本中的questions_words.txt中文方面的具体应用。
上述情况说明gensim在文本训练的难易程度、准确率方面比tensorflow示范程序里面介绍的方法好多了。但国内没有找到具体的原因,最后在stackoverflow.com上找到了一篇文章,详细说明了可能的原因,让我彻底放弃了tensorflow上实现word2vec的想法。
经过实际测试, gensim通过Cpython来实现底层算法,速度很快,简单易用。

目录
相关文章
|
3月前
|
机器学习/深度学习 自然语言处理 算法
Coggle 30 Days of ML(23年7月)任务六:训练FastText、Word2Vec词向量
Coggle 30 Days of ML(23年7月)任务六:训练FastText、Word2Vec词向量
|
机器学习/深度学习 存储 自然语言处理
【新闻文本分类】(task4)使用gensim训练word2vec
Word2vec即“word to vector”,是一个生成对“词”的向量表达的模型。 想要训练 Word2vec 模型,我们需要准备由一组句子组成的语料库。假设其中一个长度为 T 的句子包含的词有 w1,w2……wt,并且我们假定每个词都跟其相邻词的关系最密切。
537 0
【新闻文本分类】(task4)使用gensim训练word2vec
|
搜索推荐 TensorFlow 算法框架/工具
TensorFlow中Embedding和One-Hot的区别
TensorFlow中Embedding和One-Hot的区别
125 0
|
TensorFlow 算法框架/工具 Python
TensorFlow将Tensor或者numpy数据变成迭代器
TensorFlow将Tensor或者numpy数据变成迭代器
83 0
|
自然语言处理 数据可视化 数据处理
基于gensim实现word2vec模型(附案例实战)
基于gensim实现word2vec模型(附案例实战)
595 0
基于gensim实现word2vec模型(附案例实战)
|
自然语言处理 Python
自然语言处理=======python利用word2vec实现计算词语相似度【gensim实现】
自然语言处理=======python利用word2vec实现计算词语相似度【gensim实现】
303 0
自然语言处理=======python利用word2vec实现计算词语相似度【gensim实现】
|
TensorFlow 算法框架/工具
手写数字识别 (tensorflow==2.4.0)
手写数字识别 (tensorflow==2.4.0)
70 0
手写数字识别 (tensorflow==2.4.0)
|
自然语言处理 算法 Python
Gensim实现Word2Vec的Skip-Gram模型
gensim是一个开源的Python库,用于便捷高效地提取文档中的语义话题。它用于处理原始的、非结构化的电子文本(“纯文本”),gensim中的一些算法,如 Latent Semantic Analysis(潜在语义分析)、 Latent Dirichlet Allocation(潜在Dirichlet分布)、Random Projections(随机预测)通过检查训练文档中的共现实体来挖掘语义结构。
242 0
|
TensorFlow 算法框架/工具 Python
成功解决mnist.py:110: dense_to_one_hot (from tensorflow.contrib.learn.python.learn.datasets.mnist) is de
成功解决mnist.py:110: dense_to_one_hot (from tensorflow.contrib.learn.python.learn.datasets.mnist) is de
成功解决mnist.py:110: dense_to_one_hot (from tensorflow.contrib.learn.python.learn.datasets.mnist) is de
|
TensorFlow 算法框架/工具 Python
成功解决 \tensorflow\…\datasets\mnist.py:290: DataSet.__init__ (from tensorflow.contrib.learn.python.lea
成功解决 \tensorflow\…\datasets\mnist.py:290: DataSet.__init__ (from tensorflow.contrib.learn.python.lea