南宁网站搜索引擎优化,制造动漫网站开发目的,开发一款手机app的步骤,黄页网站推广软件6#xff0c;dropout 6#xff0c;1 线性分类器中的正则化 在线性分类器中#xff0c;我们提到过正则化#xff0c;其目的就是为了防止过度拟合。例如#xff0c;当我们要用一条curve去拟合一些散点的数据时#xff0c;常常是不希望训练出来的curve过所有的点#xff0c…6dropout 61 线性分类器中的正则化 在线性分类器中我们提到过正则化其目的就是为了防止过度拟合。例如当我们要用一条curve去拟合一些散点的数据时常常是不希望训练出来的curve过所有的点因为这些点里面可能包含噪声。如果拟合出来的函数曲线真的能过所有的点包括噪点往往不是人们期望中的那条最佳curve。 对于深度学习而言过度拟合还好带来另一个问题就是弱化泛化能力。说白了就是训练好的模型只在部分数据上表现良好在其他的一些数据上的表现就没那么好。比如说在下图的左图中随着迭代次数的增加损失函数的值越来越低说明训练的模型准确率越来越高。但把这个训练好的模型放在测试集上随着迭代次数的增加训练集的准确率越来越高但验证集的准确率一直没变。 在线性分类器中为了避免这一问题通过在损失函数中加入了正则化项达到目的。 62 神经网络中的正则化---drop out 除了上面提到的L1,L2正则化在神经网络中还有一种更为强大且常用的正则化方法---dropout他们都是为了防止过拟合。 Dropout 的原理 dropout通过在训练过程中以一定概率“丢弃”神经元即选择性的令一部分神经元的输出为0。神经元的丢弃概率通常选择在0.2到0.5之间具体值需要根据具体的任务和数据集进行调优。 在不同层应用不同的丢弃概率。 他打破了每层神经网络中的co-adapting(协同适应性)即神经元之间的相互依赖。co-adapting会引起模型在训练数据上表现很好但在新数据上表现不佳。且增加了不同神经元所学习到的特征的相似性。 具体实现 1在训练阶段每个神经元以概率p被随机丢弃丢弃的神经元在当前迭代中不参与计算。这样每次迭代都使用一个不同的“子网络”。 2在测试阶段所有神经元都参与计算但为了保持输出的预期值一致需要将每个神经元的输出按丢弃概率p进行缩放乘以1-p。 引起co-adapting的原因 在训练的过程中每层神经网络中的全部神经元是通过一同更新来缩小损失函数的。换句话说就是所有的神经元协同作用并肩作战而不是单打独斗。这就是说对于每个隐含层而言是整层神经元反映/学习了一个feature而不是一层中的单个神经元反映/学习了一个feature。 dropout通过随机丢弃神经元迫使模型在训练的时候不能靠整层神经元去学习而是需要每个神经元独立地处理输入数据。 这能增加了不同神经元所学习特征的多样性。下面是使用dropout技术前后神经元学习到的feature的差异。 过拟合的原因 由于深层神经网络的学习功能十分强大因此在训练数据集的学习过程中除了学习我们期望的部分还会学习到噪声。这就会引起过度拟合使得模型在训练数据上表现良好但在新数据上表现不佳。 局限性 Dropout并不是解决所有过拟合问题的万能方法有时也需要结合其他正则化方法如L1、L2正则化或者数据增强等技术。 使用dropout会增加训练时间因为每次训练迭代都要随机丢弃神经元并重新计算网络的前向和反向传播。 全文完
--- 作者松下J27 参考文献(鸣谢)
1Stanford University CS231n: Deep Learning for Computer Vision
2训练神经网络(第二部分)_哔哩哔哩_bilibili
310 Training Neural Networks I_哔哩哔哩_bilibili
4Schedule | EECS 498-007 / 598-005: Deep Learning for Computer Vision
5《Dropout: A Simple Way to Prevent Neural Networks from Overfitting》 版权声明所有的笔记可能来自很多不同的网站和说明在此没法一一列出如有侵权请告知立即删除。欢迎大家转载但是如果有人引用或者COPY我的文章必须在你的文章中注明你所使用的图片或者文字来自于我的文章否则侵权必究。 ----松下J27
