织梦做双语版网站,网站自适应源码,WordPress查看已发送邮件,澄迈住房和城乡建设局网站本来是不打算做这个CBOW代码案例的#xff0c;想快马加鞭看看前馈神经网络 毕竟书都买好了 可是…可是…我看书的时候#xff0c;感觉有点儿困难#xff0c;哭的很大声… 感觉自己脑细胞可能无法这么快接受 要不#xff0c;还是退而求个稍微难度没那么大的事#xff0c;想… 本来是不打算做这个CBOW代码案例的想快马加鞭看看前馈神经网络 毕竟书都买好了 可是…可是…我看书的时候感觉有点儿困难哭的很大声… 感觉自己脑细胞可能无法这么快接受 要不还是退而求个稍微难度没那么大的事想想自己还有什么是没实现的呢 哦CBOW的案例还没做呢~ 在一个巨人面前我无耻地选择了暂避其锋芒 就好像我本应该英勇地迈过刀山火海可是我却怂了 而且怂的有理有据CBOW还没实现呢 只希望CBOW案例不要太难不然我根本寸步难行只能天天打游戏聊以自慰 首先我计划做一个客服预料包然后用CBOW去预测某个中间关键词
目标明确后问题接踵而至 问题1-能否用中文语料不行因为中文分词很麻烦我懒得去搞分词重点是CBOW 英文语料很简单因为英文是一个词跟另一个词用空格分开获取十分简单 问题2-头尾单词怎么解决毕竟CBOW是获取关键词的前c个和后c个单词来训练的但开头单词没有前c个单词末尾单词没有后c个单词 解决办法用额外的单词替代比如None应该问题不大的吧 问题3-按句还是按所有句取上下文如果是按句取上下文那么一个句子开头和末尾单词的下文就是None语料文件有很多个句子就会有很多个None。 如果按所有句取上下文那整个语料文件就只有开头有None末尾有NoneNone数量很少 解决办法还是按句吧毕竟两句之间的上下文是毫无关系的。 按照【基于HierarchicalSoftmax的CBOW】正反向传播流程来设计程序吧 【基于HierarchicalSoftmax的CBOW】正向传播过程 输入层 转换独热编码将词典D转换为one-hot独热编码获取上下文按规定上下文的长度k来截取语库C里的上下文单词 x x x和预测单词 y ∗ y* y∗获取独热编码获取上下文单词x的独热编码向量 x 1 x1 x1, x 2 x2 x2, x 3 x3 x3, x 4 x4 x4作为初始输入矩阵X[ x 1 x1 x1, x 2 x2 x2, x 3 x3 x3, x 4 x4 x4] 投影层 计算中间向量 将初始矩阵X乘以一个权重矩阵W提取出各个初始向量 x 1 x1 x1, x 2 x2 x2, x 3 x3 x3, x 4 x4 x4的权重系数 w 1 w1 w1、 w 2 w2 w2、 w 3 w3 w3、 w 4 w4 w4将这些权重系数加和作为中间向量h[ w 1 w1 w1 w 2 w2 w2 w 3 w3 w3 w 4 w4 w4]注意这里的加和是按列加和 输出层 构建huffman树计算路径概率计算预测模型
