建设网站有什么风险,定制开发电商网站建设多少钱,中建一共几个局,南昌专业网站优化推广笔记内容侵权联系删 过拟合问题
过拟合问题描述:模型在训练集表现优异#xff0c;但在测试集上表现较差。 根本原因:特征维度过多#xff0c;模型假设过于复杂#xff0c;参数过多#xff0c;训练数据过少#xff0c;噪声过多导致拟合出的函数几乎完美的对训练集做出预…笔记内容侵权联系删 过拟合问题
过拟合问题描述:模型在训练集表现优异但在测试集上表现较差。 根本原因:特征维度过多模型假设过于复杂参数过多训练数据过少噪声过多导致拟合出的函数几乎完美的对训练集做出预测但对新数据的测试集预测结果差。过度的拟合了训练数据而没有考虑到模型的泛化能力。
正则化
正则化是机器学习中非常重要并且非常有效的减少泛化误差的技术特别是在深度学习模型中由于其模型参数非常多非常容易产生过拟合。因此研究者也提出很多有效的技术防止过拟合比较常用的技术包括:参数添加约束例如L1 L2范数等。训练集合扩充例如添加噪声、数据变换等Dropout提前停止
1。参数惩罚【约束】许多正则化方法通过对目标函数/添加一个参数惩罚限制模型的学习能力。 2.L1正则 对模型参数添加L1范数约束【L2 VS L1与山的主要区别如下: 通过上面的分析山相对于山能够产生更加稀疏的模型即当正则在参数w比较小的情况下能够直接缩减至0因此可以起到特征选择的作用。 如果从概率角度进行分析很多范数约束相当于对参数添加先验分布其中范数相当于参数服从高斯先验分布;范数相当于拉普拉斯分布】
3.数据增强防止过拟合最有效的方法是增加训练集合训练集合越大过拟合概率越小。数据增强是一个省时有效的方法但是在不同领域方法不太通用
【从最简单直白的角度来看的话模型见过的数据见多了它认识的更广了因此当有新的数据时会感觉到相似】在目标识别领域常用的方法是将图片进行旋转、缩放等(图片变换的前提是通过变换不能改变图片所属类别例如手写数字识别类别6和9进行旋转后容易改变类目)。语音识别中对输入数据添加随机噪声。NLP中常用思路是进行近义词替换。
4.提前停止训练 在训练过程中插入对验证集数据的测试。当发现验证集数据的Loss上升时提前停止训练。
【当损失函数升高后就可以 开始提前停止训练】
5.Dropout Dropout是一类通用并且计算简洁的正则化方法在2014年被提出后广泛的使用。简单的说Dropout在训练过程中随机的丢弃一部分输入此时丢弃部分对应的参数不会更新。相当于Dropout是一个集成方法将所有子网络结果进行合并通过随机丢弃输入可以得到各种子网络 数据不平衡问题1..随机欠采样。
删除类中多的样本
2..随机过采样
拷贝样本
3..合成采样
提取样本合成样本
