word2vec的网络里为什么没有bias偏置项

  统计/机器学习 自然语言处理 人工神经网络    浏览次数:5535        分享
0

对于一般的神经网络模型,每层都会有代表bias的偏置项,为什么word2vec里却没有?

 

word哥   2017-03-13 19:36



   2个回答 
3

word2vec里面也是有bias项的,可能是你看的介绍里面把它省略了。但是对于word2vec模型里输入层,我们的确会常常省略输入层的bias项,因为模型只有一个隐藏层,而且输入层是线性的。可见即使在输入层加了bias项也没有影响,因为这相当于给隐藏层的bias项多加了个常数而已。

SofaSofa数据科学社区DS面试题库 DS面经

高代兄   2017-03-23 08:21

1

word2vec是输入层-隐层-输出层的结构。输入层-隐层的权重作为word2vec向量,应当没有bias项。隐层-输出层应该可以加bias。

SofaSofa数据科学社区DS面试题库 DS面经

nobodyoo1   2018-08-02 13:25



  相关讨论

为什么基于skip-gram的word2vec在低频词汇相比cbow更有效?

gensim训练出的Word2Vec模型每次都不一样

教程中的利用Word2Vec判断是否是白话

怎么把训练好的bin格式的word2vec模型导入到gensim中使用?

gensim的word2vec模型是skip-gram还是cbow?

gensim.models.word2vec模块的LineSentence有什么用?

gensim里word2vec的window指的是什么?包括的范围是多大?

word2vec怎么处理一词多义的情况?

训练word2vec时移动窗口的大小怎么选择?

gensim word2vec中wmdistance是什么距离?

  随便看看

行数很多的pandas DataFrame如何在jupyter中完整显示?

pandas报错ValueError: Cannot convert non-finite values (NA or inf) to integer

神经网络中的dense和sparse是什么意思?

pandas.DataFrame的index重新排列(从0开始)

PCA降维之前为什么要先标准化?