网站开发不让搜索引擎,品牌策划设计包括哪些内容,用asp.net做的网站贴吧,wordpress微拍源码COURSE1 WEEK3
逻辑回归
逻辑回归主要用于分类任务
只有两种输出结果的分类任务叫做二元分类#xff0c;例如预测垃圾邮件#xff0c;只能回答是或否
实际上#xff0c;在逻辑回归中#xff0c;我们要做的任务就类似于在数据集中画出一个这样的曲线#xff0c;用来作为…COURSE1 WEEK3
逻辑回归
逻辑回归主要用于分类任务
只有两种输出结果的分类任务叫做二元分类例如预测垃圾邮件只能回答是或否
实际上在逻辑回归中我们要做的任务就类似于在数据集中画出一个这样的曲线用来作为类别的界限
在上图中由于我们用的是线性回归模型最终的输出是是一个连续的离散的值而我们的二分类任务是输出0和1代表不是和是因此还需要将上图中的输出加入到 s i g m o i d sigmoid sigmoid函数中映射到 [ 0 , 1 ] [0,1] [0,1]区间内
基本流程如下所示 逻辑回归方程定义式 f w ⃗ , b ( x ⃗ ) 1 1 e − ( w ⃗ ⋅ x ⃗ b ) f_{\vec w, b}(\vec x) \frac{1}{1e^{-(\vec w \cdot \vec x b)}} fw ,b(x )1e−(w ⋅x b)1 观察 S i g m o i d Sigmoid Sigmoid函数我们可以观察到
当输入值小于0即 z 0 → w x b 0 z 0 \to wxb 0 z0→wxb0时最终的输出趋近于0代表负类当输入值大于0即 z 0 → w x b 0 z 0 \to wxb 0 z0→wxb0时最终的输出趋近于1代表正类
因此我么可以找到决策边界即 w ⃗ ⋅ x ⃗ b 0 \vec w\cdot \vec x b 0 w ⋅x b0 而对于更复杂的数据我们可以使用特征工程的方法对输入进行多项式变换组合以满足实际的需求 逻辑回归中的损失函数
逻辑回归中不再使用平方误差函数因为通过观察我们逻辑回归的函数定义式带有指数项比较复杂因此带入平方误差损失函数中图像如下
即是一个非凸的函数存在很多局部最优的地方容易使得我们的梯度下降算法效果不理想
在逻辑回归中使用的是交叉熵损失函数可以用来衡量预测的结果与实际的结果的一致性程度 L ( f w ⃗ , b ( x ⃗ ( i ) ) , y ( i ) ) { − log ( f w ⃗ , b ( x ⃗ ( i ) ) ) i f y ( i ) 1 − log ( 1 − f w ⃗ , b ( x ⃗ ( i ) ) ) i f y ( i ) 0 L(f_{\vec w,b}(\vec x^{(i)}), y^{(i)}) \left\{ \begin{aligned} -\log (f_{\vec w,b}(\vec x^{(i)})) \ \ \ \ if \ y^{(i)} 1 \\ -\log (1-f_{\vec w,b}(\vec x^{(i)})) \ \ \ \ if \ y^{(i)} 0 \end{aligned} \right. L(fw ,b(x (i)),y(i)){−log(fw ,b(x (i))) if y(i)1−log(1−fw ,b(x (i))) if y(i)0 如下函数图像 − l o g ( 1 − f ) -log(1-f) −log(1−f) 可以发现当 y ( i ) 0 y^{(i)} 0 y(i)0时
如果预测的结果 y ^ 0 \hat y 0 y^0那么损失值会为0如果预测结果 y ^ 1 \hat y 1 y^1那么损失值特别大
如下函数图像 − l o g ( f ) -log(f) −log(f) 可以发现当 y ( i ) 1 y^{(i)} 1 y(i)1时 如果预测的结果 y ^ 0 \hat y 0 y^0那么损失值会为特别大如果预测的结果 y ^ 1 \hat y 1 y^1那么损失值为0
因此通过这种损失函数可以发现其是一个凸函数因此可以使用梯度下降得到一个可靠的答案
由于我们处理的是一个二分类任务即 y y y 要么取 0 要么取 1 因此我们的损失函数还可以简化为 L ( f w ⃗ , b ( x ⃗ ( i ) ) , y ( i ) ) − y ( i ) log ( f w ⃗ , b ( x ⃗ ( i ) ) ) − ( 1 − y ( i ) ) log ( 1 − f w ⃗ , b ( x ⃗ ( i ) ) ) L(f_{\vec w,b}(\vec x^{(i)}), y^{(i)})- y^{(i)}\log (f_{\vec w,b}(\vec x^{(i)})) - (1-y^{(i)})\log (1-f_{\vec w,b}(\vec x^{(i)})) L(fw ,b(x (i)),y(i))−y(i)log(fw ,b(x (i)))−(1−y(i))log(1−fw ,b(x (i))) 因此当 y ( i ) 1 y^{(i)} 1 y(i)1时前面的式子有效当 y ( i ) 0 y^{(i)} 0 y(i)0时后面的式子有效
逻辑回归中的梯度下降
参数的更新
同样在逻辑回归中也可以使用向量化的操作来加快梯度下降的收敛速度
过拟合问题
在训练过程中经常会遇到过拟合的问题导致模型的性能不好
过拟合与欠拟合
欠拟合
由于模型使用的不当等因素使得模型不饿能很好的拟合训练集算法无法捕捉训练数据中的重要特征模式例如在预测房价时如果我们使用线性模型且不使用特征工程的方法时就可能会出现欠拟合的现象 模型的泛化能力
模型的泛化能力是指模型的性能比较好能够适用于大多数数据即使在它一千从未见到过的全新示例上也能做出良好的预测 过拟合
过拟合是指我们的模型可能过于复杂非常适合训练数据在训练集上的表现性能非常优秀但是在新的数据集上不能做出良好精确的预测这种模型不能进行推广到其他数据集上 过拟合与欠拟合的现象也会出现在分类任务里 解决过拟合的方法 收集更多的数据进行训练即使用大量的数据样例进行训练 观察是否可以使用更少的特征减少一些多项式特征的使用 可以通过将特征前的参数设置为0来去除该特征 加入正则化项——鼓励学习算法缩小参数值而不必要求参数为0 可以保留所有特征但只是防止特征产生过大的影响有时也会导致过拟合
正则化技术时实际应用中一种非常常用的方法
正则化
正则化的方法就是对损失函数进行适当的修改即对特征进行惩罚
例如我们的模型函数如下所示 f w 1 x w 2 x 2 2 w 3 x 3 w 4 x 4 b f w_1x w_2x_2^2 w_3x^3 w_4x^4 b fw1xw2x22w3x3w4x4b 损失函数如下所示 min 1 2 m ∑ i 1 m ( f ( x ( i ) ) − y ( i ) ) 2 \min \frac{1}{2m}\sum_{i1}^{m}(f(x^{(i)}) - y^{(i)})^2 min2m1i1∑m(f(x(i))−y(i))2 由于 x 3 x^3 x3和 x 4 x^4 x4的出现可能会导致我们的模型出现过拟合的现象因此我们要对这两个特征的系数即 w 3 w_3 w3和 w 4 w_4 w4进行正则化惩罚从而将损失函数改变如下 min 1 2 m ∑ i 1 m ( f ( x ( i ) ) − y ( i ) ) 2 1000 w 3 2 1000 w 4 2 \min \frac{1}{2m}\sum_{i1}^{m}(f(x^{(i)}) - y^{(i)})^2 1000w_3^2 1000w_4^2 min2m1i1∑m(f(x(i))−y(i))21000w321000w42 因此通过模型的不断训练 w 3 w_3 w3 和 w 4 w_4 w4 就会变得比较小使得我们的模型具有较好的泛化能力
且一般而言我们只对特征前的参数进行正则化处理而不对偏置 b b b 进行正则化处理
而在实际中往往会有成千的特征而我们不知道哪些特征是重要的因此正则化的典型实现方式就是惩罚所有的特征
正则化通用公式 J ( w ⃗ , b ) min 1 2 m ∑ i 1 m ( f ( x ( i ) ) − y ( i ) ) 2 λ 2 m ∑ j 1 n w j 2 J(\vec w, b) \min \frac{1}{2m}\sum_{i1}^{m}(f(x^{(i)}) - y^{(i)})^2 \frac{\lambda}{2m}\sum_{j1}^{n}w_j^2 J(w ,b)min2m1i1∑m(f(x(i))−y(i))22mλj1∑nwj2 其中 λ \lambda λ 是正则化参数
当 λ \lambda λ 非常大时我们的模型参数 w j w_j wj 都趋近于0此时模型的输出就等于偏置 b b b出现欠拟合现象
当 λ \lambda λ非常小时 λ 0 \lambda 0 λ0就相当于没有做正则化操作此时我们的模型就会出现过拟合现象
因此我们的任务就是要选择一个合适的正则化参数
用于线性回归的正则化
使用正则化后我们的损失函数分为了两个部分
损失项正则化项
因此使用梯度下降更新参数的表达式变为 w j w j − α ∂ ∂ w j w j − α [ 1 m ∑ i 1 m ( f w ⃗ , b ( x ⃗ ( i ) ) − y ( i ) ) x j ( i ) λ m w j ] w_j w_j-\alpha \frac{\partial}{\partial w_j} w_j - \alpha[\frac{1}{m}\sum_{i1}^{m}(f_{\vec w, b}(\vec x^{(i)})-y^{(i)})x_j^{(i)} \frac{\lambda}{m}w_j] wjwj−α∂wj∂wj−α[m1i1∑m(fw ,b(x (i))−y(i))xj(i)mλwj] 而偏置 b b b 的更新公式不变
用于逻辑回归的正则化
对于逻辑回归加入正则化后损失函数变为 J ( w ⃗ , b ) − 1 m ∑ i 1 m [ y ( i ) log ( f w ⃗ , b ( x ⃗ ( i ) ) ) − ( 1 − y ( i ) ) log ( 1 − f w ⃗ , b ( x ⃗ ( i ) ) ) ] λ 2 m ∑ j 1 n w j 2 J(\vec w,b)-\frac{1}{m}\sum_{i1}^{m}[ y^{(i)}\log (f_{\vec w,b}(\vec x^{(i)})) - (1-y^{(i)})\log (1-f_{\vec w,b}(\vec x^{(i)}))] \frac{\lambda}{2m}\sum_{j1}^nw_j^2 J(w ,b)−m1i1∑m[y(i)log(fw ,b(x (i)))−(1−y(i))log(1−fw ,b(x (i)))]2mλj1∑nwj2 使用梯度下降时参数更新的变化和线性回归一样 w j w j − α ∂ ∂ w j w j − α [ 1 m ∑ i 1 m ( f w ⃗ , b ( x ⃗ ( i ) ) − y ( i ) ) x j ( i ) λ m w j ] w_j w_j-\alpha \frac{\partial}{\partial w_j} w_j - \alpha[\frac{1}{m}\sum_{i1}^{m}(f_{\vec w, b}(\vec x^{(i)})-y^{(i)})x_j^{(i)} \frac{\lambda}{m}w_j] wjwj−α∂wj∂wj−α[m1i1∑m(fw ,b(x (i))−y(i))xj(i)mλwj]
