免费网站创建,网站打开慢怎么回事,成品网站和模板建站,陕西网站开发联系方式文章目录 sklearn学习(25) 无监督学习-神经网络模型#xff08;无监督#xff09;25.1 限制波尔兹曼机25.1.1 图形模型和参数化25.1.2 伯努利限制玻尔兹曼机25.1.3 随机最大似然学习 sklearn学习(25) 无监督学习-神经网络模型#xff08;无监督#xff09;
文章参考网站无监督25.1 限制波尔兹曼机25.1.1 图形模型和参数化25.1.2 伯努利限制玻尔兹曼机25.1.3 随机最大似然学习 sklearn学习(25) 无监督学习-神经网络模型无监督
文章参考网站 https://sklearn.apachecn.org/ 和 https://scikit-learn.org/stable/
25.1 限制波尔兹曼机
限制玻尔兹曼机Restricted Boltzmann machines简称 RBM是基于概率模型的无监督非线性特征学习器。当用 RBM 或多层次结构的RBMs 提取的特征在馈入线性分类器如线性支持向量机或感知机时通常会获得良好的结果。
该模型对输入的分布作出假设。目前scikit-learn 只提供了 BernoulliRBM它假定输入是二值binary values的或者是 0 到 1 之间的值每个值都编码特定特征被激活的概率。
RBM 尝试使用特定图形模型最大化数据的似然。它所使用的参数学习算法随机最大似然可以防止特征表示偏离输入数据。这使得它能捕获到有趣的特征但使得该模型对于小数据集和密度估计不太有效。
该方法在初始化具有独立 RBM 权值的深度神经网络时得到了广泛的应用。这种方法是无监督的预训练。 示例 Restricted Boltzmann Machine features for digit classification
25.1.1 图形模型和参数化
RBM 的图形模型是一个全连接的二分图。 节点是随机变量其状态取决于它连接到的其他节点的状态。这个模型可通过连接的权重、以及每个可见或隐藏单元的偏置项进行参数化为了简单起见我们省略了上图中的偏置项。
用能量函数衡量联合概率分布的质量 E ( v , h ) − ∑ i ∑ j w i j v i h j − ∑ i b i v i − ∑ j c j h j E(\mathbf{v}, \mathbf{h}) -\sum_i \sum_j w_{ij}v_ih_j - \sum_i b_iv_i - \sum_j c_jh_j E(v,h)−i∑j∑wijvihj−i∑bivi−j∑cjhj
在上面的公式中 b \mathbf{b} b 和 c \mathbf{c} c 分别是可见层和隐藏层的偏置向量。模型的联合概率是根据能量来定义的 P ( v , h ) e − E ( v , h ) Z P(\mathbf{v}, \mathbf{h}) \frac{e^{-E(\mathbf{v}, \mathbf{h})}}{Z} P(v,h)Ze−E(v,h) “限制”是指模型的二分图结构它禁止隐藏单元之间或可见单元之间的直接交互。 这代表以下条件独立性成立 h i ⊥ h j ∣ v v i ⊥ v j ∣ h h_i \bot h_j | \mathbf{v} \\ v_i \bot v_j | \mathbf{h} hi⊥hj∣vvi⊥vj∣h 二分图结构允许使用高效的块吉比斯采样block Gibbs sampling进行推断。
25.1.2 伯努利限制玻尔兹曼机
在 BernoulliRBM 中所有单位都是二进制随机单元。这意味着输入数据应该是二值或者是在 0 和 1 之间的实数值其表示可见单元活跃或不活跃的概率。 这是一个很好的字符识别模型其中的关注点是哪些像素是活跃的哪些不是。 对于自然场景的图像它因为背景、深度和相邻像素趋势取相同的值而不再适合。
每个单位的条件概率分布由其接收的输入的 logistic sigmoid函数给出 P ( v i 1 ∣ h ) σ ( ∑ j w i j h j b i ) P ( h i 1 ∣ v ) σ ( ∑ i w i j v i c j ) P(v_i1|\mathbf{h}) \sigma(\sum_j w_{ij}h_j b_i) \\P(h_i1|\mathbf{v}) \sigma(\sum_i w_{ij}v_i c_j) P(vi1∣h)σ(j∑wijhjbi)P(hi1∣v)σ(i∑wijvicj) 其中 σ \sigma σ 是 logistic sigmoid函数 σ ( x ) 1 1 e − x \sigma(x) \frac{1}{1 e^{-x}} σ(x)1e−x1
25.1.3 随机最大似然学习
在 BernoulliRBM 函数中实现的训练算法被称为随机最大似然SML或持续对比发散PCD。由于数据的似然函数的形式直接优化最大似然是不可行的 log P ( v ) log ∑ h e − E ( v , h ) − log ∑ x , y e − E ( x , y ) \log P(v) \log \sum_h e^{-E(v, h)} - \log \sum_{x, y} e^{-E(x, y)} logP(v)logh∑e−E(v,h)−logx,y∑e−E(x,y) 为了简单起见上面的等式是针对单个训练样本所写的。相对于权重的梯度由对应于上述的两个项构成。根据它们的符号它们通常被称为正梯度和负梯度。这种实现按照小批量样本对梯度进行计算。
在最大化对数似然度maximizing the log-likelihood的情况下正梯度使模型更倾向于与观察到的训练数据兼容的隐藏状态。RBM 的二分体结构使他可以被高效地计算。然而负梯度是棘手的。其目标是降低模型偏好的联合状态的能量从而使数据保持真实。它可以使用块吉比斯采样通过马尔可夫链蒙特卡罗来粗略估计它通过迭代地对每个 v v v 和 h h h 进行交互采样直到链混合。以这种方式产生的样本有时被称为幻想粒子。这是低效的并且我们很难确定马可夫链是否混合。
对比发散方法建议在经过少量迭代后停止链迭代数 k k k 通常为 1。该方法快速且方差小但样本远离模型分布。
持续对比发散解决了这个问题。在 PCD 中我们保留了多个链幻想粒子来在每个权重更新之后更新 k k k 个吉比斯采样步骤而不是每次需要梯度时都启动一个新的链并且只执行一个吉比斯采样步骤。这使得粒子能更彻底地探索空间。 参考资料 “A fast learning algorithm for deep belief nets” G. Hinton, S. Osindero, Y.-W. Teh, 2006 “Training Restricted Boltzmann Machines using Approximations to the Likelihood Gradient” T. Tieleman, 2008
