一起做网站逛市场,黄山建设网站公司电话号码,page list wordpress,中小企业品牌网站建设诸如词-词共现计数的全局语料库统计可以来解释跳元模型。 交叉熵损失可能不是衡量两种概率分布差异的好选择#xff0c;特别是对于大型语料库。GloVe使用平方损失来拟合预先计算的全局语料库统计数据。 对于GloVe中的任意词#xff0c;中心词向量和上下文词向量在数学上是等… 诸如词-词共现计数的全局语料库统计可以来解释跳元模型。 交叉熵损失可能不是衡量两种概率分布差异的好选择特别是对于大型语料库。GloVe使用平方损失来拟合预先计算的全局语料库统计数据。 对于GloVe中的任意词中心词向量和上下文词向量在数学上是等价的。 GloVe可以从词-词共现概率的比率来解释。 上下文窗口内的词共现可以携带丰富的语义信息。例如在一个大型语料库中“固体”比“气体”更有可能与“冰”共现但“气体”一词与“蒸汽”的共现频率可能比与“冰”的共现频率更高。此外可以预先计算此类共现的全局语料库统计数据这可以提高训练效率。为了利用整个语料库中的统计信息进行词嵌入让我们首先回顾 预训练——词嵌入word2vec、 近似训练_流萤数点的博客-CSDN博客中的跳元模型但是使用全局语料库统计如共现计数来解释它。
1.带全局语料统计的跳元模型 考虑词可能在语料库中出现多次。在整个语料库中所有以为中心词的上下文词形成一个词索引的多重集Ci该索引允许同一元素的多个实例。对于任何元素其实例数称为其重数。举例说明假设词wi在语料库中出现两次并且在两个上下文窗口中以为其中心词的上下文词索引是k,j,m,k和k,l,k,j。因此多重集Ci{j,j,k,k,k,k,l,m}其中元素j,k,l,m的重数分别为2、4、1、1。 虽然交叉熵损失函数通常用于测量概率分布之间的距离但在这里可能不是一个好的选择。一方面规范化的代价在于整个词表的求和这在计算上可能非常昂贵。另一方面来自大型语料库的大量罕见事件往往被交叉熵损失建模从而赋予过多的权重。 2.GloVe模型
有鉴于此GloVe模型基于平方损失 (Pennington et al., 2014)对跳元模型做了三个修改 应该强调的是当词出现在词的上下文窗口时词wj也出现在词的上下文窗口。因此。与拟合非对称条件概率的word2vec不同GloVe拟合对称概率。因此在GloVe模型中任意词的中心词向量和上下文词向量在数学上是等价的。但在实际应用中由于初始值不同同一个词经过训练后在这两个向量中可能得到不同的值GloVe将它们相加作为输出向量。
3.从条件概率比值理解GloVe模型 我们可以观察到以下几点 对于与“ice”相关但与“steam”无关的单词例如solid我们预计会有更大的共现概率比值例如8.9。 对于与“steam”相关但与“ice”无关的单词例如gas我们预计较小的共现概率比值例如0.085。 对于同时与“ice”和“steam”相关的单词例如water我们预计其共现概率的比值接近1例如1.36. 对于与“ice”和“steam”都不相关的单词例如fashion我们预计共现概率的比值接近1例如0.96.
由此可见共现概率的比值能够直观地表达词与词之间的关系。因此我们可以设计三个词向量的函数来拟合这个比值。对于共现概率的比值其中是中心词和是上下文词我们希望使用某个函数f来拟合该比值 通过对 (14.5.7)的加权平方误差的度量得到了 (14.5.4)的GloVe损失函数。
