帮别人做网站赚钱,重庆巫山网站设计公司,wordpress西语版,网络营销课程总结pptsklearn线性回归--岭回归 岭回归也是一种用于回归的线性模型#xff0c;因此它的预测公式与普通最小二乘法相同。但在岭回归中#xff0c;对系数#xff08;w#xff09;的选择不仅要在训练数据上得到好的预测结果#xff0c;而且还要拟合附加约束#xff0c;使系数尽量小… sklearn线性回归--岭回归 岭回归也是一种用于回归的线性模型因此它的预测公式与普通最小二乘法相同。但在岭回归中对系数w的选择不仅要在训练数据上得到好的预测结果而且还要拟合附加约束使系数尽量小。换句话说w的所有元素都应接近于0。直观上来看这意味着每个特征对输出的影响应尽可能小即斜率很小同时仍给出很好地预测结果。这种约束就是正则化。正则化是指对模型做显示约束以避免过拟合。岭回归用到的这种被称为L2正则化。下面来看一下岭回归对波士顿房价数据集的效果如何该数据集的介绍见链接: link 由上图可以看出Ridge模型在训练集上的分数要低于LinearRegression但在测试集上的分数更高。线性回归对数据存在过拟合。Ridge是一种约束更强的模型所以更不容易过拟合。复杂度更小的模型意味着在训练集上的性能更差但泛化性能更好。由于我们只对泛化性能感兴趣所以应该选择Ridge而不是LinearRegression模型。 Ridge模型在模型的简单性系数都接近于0与训练集性能之间做出权衡。简单性和训练集性能二者对于模型的重要程度可以由用户通过设置alpha参数来指定。在前面的例子中我们用的是默认参数alpha1.0。但没有理由认为这会给出最佳权衡。alpha的最佳设定值取决于用到的具体数据集。增大alpha会使得系数更加趋向于0从而降低训练集性能但可能会提高泛化性能。例如 减小alpha可以让系数受到的限制更小。对于非常小的alpha值比如0.1系数几乎没有受到限制我们得到一个与LinearRegression类似的模型。
