网站怎样做优惠卷,移动互联网开发培训,与网站建设关系密切的知识点,哪个网站学做凉皮1、设置问题 投入的广告费越多#xff0c;广告的点击量就越高#xff0c;进而带来访问数的增加。 2、定义模型 定义一个函数#xff1a;一次函数 y ax b #xff08;a 是斜率、b 是截距#xff09; 定义函数#xff1a; 3、最小二乘法 例子#xff1a; 用随便确定的参…1、设置问题 投入的广告费越多广告的点击量就越高进而带来访问数的增加。 2、定义模型 定义一个函数一次函数 y ax b a 是斜率、b 是截距 定义函数 3、最小二乘法 例子 用随便确定的参数计算的值与实际的值存在偏差。 假设有 n 个训练数据 那么它们的误差之和可以用这样的表达式表示。 这个表达式称为 目标函数E(θ) 的 E 是误差的英语单词 Error 的首字母∑读作“西格玛”。 这么做是为了找到使 E(θ) 的值最小 的 θ这样的问题称为最优化问题。 来计算一下表格 E(θ) 的值设 θ0 1、θ1 2 然后将刚才列举的 4 个训练数据代入表达式 4、梯度下降法最速下降法 微分是计算变化的快慢程度时使用的方法。 函数 g(x): 微分求导 x 1 为负数x 1 为0x 1 为正数。 根据导数的符号来决定移动 x 的方向只要向与导数的符号相反的方向移动 xg(x) 就会自然而然地沿着最小值的方向前进了 这也被称为最速下降法或梯度下降法 。 η 是称为学习率的正的常数读作“伊塔”。根据学习率的大小 到达最小值的更新次数也会发生变化。换种说法就是收敛速度会 不同。有时候甚至会出现完全无法收敛一直发散的情况。 比如 η 1从 x 3 开始 结果是一直发散无法收敛 那设 η 0.1同样从 x 3 开始 回过头来看一下目标函数 E(θ) 这个目标函数是拥有 θ0 和 θ1 的双变量函数所以不能用 普通的微分而要用偏微分 设 计算微分 同样 所以参数 θ0 和 θ1 的更新表达式是 5、多项式回归 上面是一次函数用更大次数的表达式 这样就能表示更复杂的曲线。 不过对于要解决的问题在找出最合适的表达式之前需要 不断地去尝试。 虽然次数越大拟合得越好但难免也会出现过拟合的问题。 如二次函数 曲线如下 曲线看起来更拟合数据。 计算微分 像这样增加函数中多项式的次数然后再使用函数的分析方法被称为多项式回归。 6、多重回归 多项式回归问题中确实会涉及不同次数的项但是使用的变量依然只有广告费一项。 我们稍微扩展一下之前设置的问题。之前只是根据广告费来预 测点击量现在呢决定点击量的除了广告费之外还有广告的 展示位置和广告版面的大小等多个要素。 为了让问题尽可能地简单这次我们只考虑广告版面的大小设 广告费为 x1、广告栏的宽为 x2、广告栏的高为 x3那么 fθ 可以 表示如下 下面我们把它推广到有 n 个变量的情况 使用向量表示 求微分 u 对 v 微分的部分是一样的所以只需要求 v 对 θj 的微分就好了 那么第 j 个参数的更新表达式就是这样的 像这样包含了多个变量的回归称为多重回归。 7、随机梯度下降法 梯度下降法是对所有的训练数据都重复进行计算缺点是计算量大、计算时间长且容易陷入局部最优解 。 在随机梯度下降 法中会随机选择一个训练数据并使用它来更新参数。这个表达 式中的 k 就是被随机选中的数据索引 梯度下降法更新 1 次参数的时间随机梯度下降法可以更新 n 次。 此外随机梯度下降法由于训练数据是随机选择的更新参数时使用的又是选择数据时的梯度所以不容易陷入目标函数的局部最优解。 我们前面提到了随机选择 1 个训练数据的做法此外还有随机选 择 m 个训练数据来更新参数的做法。 设随机选择 m 个训练数据的索引的集合为 K那么我们这样 来更新参数 这种做法被称为小批量mini-batch梯度下降法。 不管是随机梯度下降法还是小批量梯度下降法我们都必须考虑 学习率 η。 把 η 设置为合适的值是很重要的 可以通过反复尝试来找到合适的值。
