已有网站怎么做后台,网站设计开发中的具体步骤,网站开发好不好,营销型网站有什么特点初学机器学习西瓜书的概要记录#xff08;一#xff09;机器学习基础知识篇(已完结) 初学机器学习西瓜书的概要记录#xff08;二#xff09;常用的机器学习方法篇(持续更新) 初学机器学习西瓜书的概要记录#xff08;三#xff09;进阶知识篇(待更) 文字公式撰写不易一机器学习基础知识篇(已完结) 初学机器学习西瓜书的概要记录二常用的机器学习方法篇(持续更新) 初学机器学习西瓜书的概要记录三进阶知识篇(待更) 文字公式撰写不易随意学习转载请注明谢谢 二常用的机器学习方法篇 4.1 决策树的基本流程4.2 信息增益划分4.3 其他属性的划分准则4.4 决策树剪枝4.5 缺失值的处理5.1 支持向量机基本型5.2 对偶问与解的特性5.3 求解方法SMO5.4 特征空间映射5.5 核函数5.6 如何使用SVM6.1 神经网络模型6.2 万有逼近性6.3 BP算法推导 以下内容出自周志华老师亲讲西瓜书 4.1 决策树的基本流程
决策树基于“树”结构进行决策
每个内部结点对应某个属性上的测试每个分支对应于该测试的一种可能结果即该属性的某个取值每个叶结点对应于一个预测结果
学习过程通过对训练样本的分析来确定“划分属性”即内部结点所对应的属性 预测过程将测试示例从跟结点开始沿着划分属性所构成的“判定测试序列”下行直到叶结点 策略分而治之自根至叶的递归过程在每个中间结点寻找一个划分属性
对当前某个结点进行划分时确定递归停止的三种条件
当前结点包含的样本全属于同一类别无需划分当前属性集为空或是所以样本在所有属性上取值相同无法划分当前结点包含的样本集为空不能划分。
4.2 信息增益划分
决策树的提出是收到信息论的启发因此很多东西是以信息论的准测进行判断而在信息论中最重要的一个量就是“熵” 信息熵是度量样本集合“纯度”最常用的一种指标假定当前样本集合 D D D 中第 k k k 类样本所占的比例为 p k p_k pk则 D D D 的信息熵定义为 E n t ( D ) − ∑ k 1 ∣ y ∣ p k l o g 2 p k Ent(D)-\sum^{|y|}_{k1}p_klog_2p_k Ent(D)−k1∑∣y∣pklog2pk 计算信息熵时约定若 p 0 p0 p0则 p l o g 2 p 0 plog_2p0 plog2p0 E n t ( D ) Ent(D) Ent(D) 的值越小则 D D D 的纯度越高 E n t ( D ) Ent(D) Ent(D) 的最小值为 0最大值为 l o g 2 ∣ y ∣ log_2{|y|} log2∣y∣ 信息增益直接以信息熵为基础计算当前划分对信息熵所造成的变化 离散属性 a a a 的取值 { a 1 , a 2 , . . . , a V } \{a^1,a^2,...,a^V\} {a1,a2,...,aV} D v D^v Dv D D D 在 a a a 上取值 a v a^v av的样本集合 以属性 a a a 对数据集 D D D 进行划分所获得的新增增益为 G a i n ( D , a ) E n t ( D ) − ∑ v 1 V ∣ D v ∣ ∣ D ∣ E n t ( D v ) Gain(D,a)Ent(D) - \sum_{v1}^V{|D^v|\over |D|}Ent(D^v) Gain(D,a)Ent(D)−v1∑V∣D∣∣Dv∣Ent(Dv) 其中 E n t ( D ) Ent(D) Ent(D) 为划分前的信息熵 ∣ D v ∣ ∣ D ∣ {|D^v|\over |D|} ∣D∣∣Dv∣ 为第 v v v个分支的权重样本越多越重要 E n t ( D v ) Ent(D^v) Ent(Dv) 为划分后的信息熵 4.3 其他属性的划分准则
信息增益如果只考虑了信息量的获得一定程度上偏好了分支多的属性因为分支越多分到分支上样本数量就会越少。
信息增益可对取值数目较多的属性有所偏好有明显弱电例如考虑将“编号”作为一个属性 增益率 G a i n r a t i o ( D , a ) G a i n ( D , a ) I V ( a ) 其中 I V ( a ) − ∑ v 1 V ∣ D v ∣ ∣ D ∣ l o g 2 ∣ D v ∣ ∣ D ∣ Gain_ratio(D,a){Gain(D,a)\over IV(a)} \\ 其中 IV(a)-\sum^V_{v1}{|D^v|\over |D|} log_2{|D^v|\over |D|} Gainratio(D,a)IV(a)Gain(D,a)其中IV(a)−v1∑V∣D∣∣Dv∣log2∣D∣∣Dv∣ 其中 a a a 的可能取值数目越多即 V V V 越大则 I V ( a ) IV(a) IV(a) 的值通常即越大
启发式先从候选划分属性中找出信息增益高于平均水平的再从中选取增益率最高的
没有办法对信息增益和增益率做绝对正确的权衡但对于分支多的情况被解决了像上式这种情况叫做规范化。归一化是规范化的特殊形式更多情况下规范化是将不可比较的东西变得可比较。
基尼指数Gini index 反应了从D中随机抽取两个样例其类别标记不一致的概率
在多个类别 y y y 中抽取样例某一个类 k k k 的概率为为 p k p_k pk 再抽取样例为另一个类 k ′ ̸ k k \not k k′k 的概率为 p k ′ p_k pk′如果这两个概率相乘很大则证明这个集合 D D D 中不太“干净” G i n i ( D ) ∑ k 1 ∣ y ∣ ∑ k ′ ̸ k p k p k ′ 1 − ∑ k 1 ∣ y ∣ p k 2 Gini(D)\sum^{|y|}_{k1}\sum_{k \not k}p_kp_k1-\sum^{|y|}_{k1}p^2_k Gini(D)k1∑∣y∣k′k∑pkpk′1−k1∑∣y∣pk2 G i n i ( D ) Gini(D) Gini(D) 越小数据集 D D D 的纯度越高
属性 a a a 的基尼指数 G i n i i n d e x ( D , a ) ∑ v 1 V G i n i ( D v ) Gini_index(D,a)\sum^V_{v1}Gini(D^v) Giniindex(D,a)∑v1VGini(Dv) 在候选属性集合中选取那个使划分后基尼指数最小的属性CART算法中使用
关键是如何去衡量经过一个操作后后面的东西比原来更“纯净”
4.4 决策树剪枝
划分选择 vs. 剪枝 研究表明划分选择的各种准则虽然对决策树的尺寸有较大影响但对泛化性能的影响很有限 例如信息增益与基尼指数产生的结果仅在约2%的情况下不同剪枝方法和程度对决策树泛化性能的影响更显著在数据带噪声时甚至可能将泛化性能提升25%
剪枝是决策树对付“过拟合”的主要手段
现阶段在单决策树时一定是需要剪枝的
为了尽可能正确分类训练样本有可能造成分支过多过拟合可通过主动去掉一些分支来降低过拟合的风险
基本策略
预剪枝提前终止某些分支的生长后剪枝生成一颗完全树再“回头”剪枝
剪枝过程中需评估剪枝前后决策树的优劣详情见模型的评估
4.5 缺失值的处理
现实生活中经常会遇到属性值“缺失”现象仅使用无缺失的样例 是对数据的极大浪费
使用待缺失值的样例需解决
如何进行划分属性选择给定划分属性若样本在该属性上的值缺失如何进行划分
基本思路样本赋权权重划分
5.1 支持向量机基本型 离正类和负类距离差不多的最好
间隔与支持向量 最大间隔寻找参数 w w w 和 b b b使得 γ \gamma γ 最大 a r g m a x w , b 2 ∣ ∣ w ∣ ∣ s . t . y i ( w T x i b ) ≥ 1 , i 1 , 2 , . . . , m \underset{w,b}{argmax}{2\over ||w||} \\ s.t. \quad y_i(w^Tx_ib)\geq1,i1,2,...,m w,bargmax∣∣w∣∣2s.t.yi(wTxib)≥1,i1,2,...,m 即 a r g m i n w , b 1 2 ∣ ∣ w ∣ ∣ 2 s . t . y i ( w T x i b ) ≥ 1 , i 1 , 2 , . . . , m \underset{w,b}{argmin}{1\over2} ||w||^2 \\ s.t. \quad y_i(w^Tx_ib)\geq1,i1,2,...,m w,bargmin21∣∣w∣∣2s.t.yi(wTxib)≥1,i1,2,...,m 凸二次规划问题能用优化计算包求解但可以有更有效的办法拉格朗日乘子法
5.2 对偶问与解的特性
对偶问题 拉格朗日乘子法 第一步引入拉格朗日乘子 a i ≥ 0 a_i \geq0 ai≥0得到拉格朗日函数 L ( w , b , a ) 1 2 ∣ ∣ w ∣ ∣ 2 ∑ i 1 m a i ( 1 − y i ( w T x i b ) ) L(w,b,a){1\over 2}||w||^2\sum^m_{i1}a_i(1-y_i(w^Tx_ib)) L(w,b,a)21∣∣w∣∣2i1∑mai(1−yi(wTxib)) 第二步令 L ( w , b , a ) L(w,b,a) L(w,b,a) 对 w w w 和 b b b 求偏导为零可得 w ∑ i 1 m a i y i x i , 0 ∑ i 1 m a i y i w\sum^m_{i1}a_iy_ix_i,0\sum^m_{i1}a_iy_i wi1∑maiyixi,0i1∑maiyi 对偶问题对偶问题得到的最小值是原目标函数下界需要求该最小值在原目标函数的最大值 第三步回代可得 m a x a ∑ i 1 m a i − 1 2 ∑ i 1 m ∑ j 1 m a i a j y i y j x i T x j s . t . ∑ i 1 m a i y i 0 , a i ≥ 0 , i 1 , 2 , . . . , m \underset{a}{max}\sum^m_{i1}a_i-{1\over 2}\sum^m_{i1}\sum^m_{j1}a_ia_jy_iy_jx_i^Tx_j \\ s.t. \quad \sum^m_{i1}a_iy_i0,a_i\geq0,i1,2,...,m amaxi1∑mai−21i1∑mj1∑maiajyiyjxiTxjs.t.i1∑maiyi0,ai≥0,i1,2,...,m
解的特性 最终模型 f ( x ) w T x b ∑ i 1 m a i y i x i T x j b f(x)w^Txb\sum_{i1}^ma_iy_ix_i^Tx_jb f(x)wTxbi1∑maiyixiTxjb KKT条件 { a i ≥ 0 ; 1 − y i f ( x i ) ≤ 0 ; a i ( 1 − y i f ( x i ) ) 0 \begin{cases} a_i\geq0; \\ 1-y_if(x_i)\leq0;\\ a_i(1-y_if(x_i)) 0\\ \end{cases} ⎩ ⎨ ⎧ai≥0;1−yif(xi)≤0;ai(1−yif(xi))0 必有 a i 0 a_i0 ai0 或 y i f ( x i ) 1 y_if(x_i)1 yif(xi)1
解的稀疏性训练完成后最终模型仅于支持向量有关支持向量机因此而得名
5.3 求解方法SMO
基本思路不断执行如下两个步骤直至收敛
第一步选取一对需更新的变量 a i a_i ai 和 a j a_j aj第二步固定 a i a_i ai 和 a j a_j aj 以外的参数求解对偶问题更新 a i a_i ai 和 a j a_j aj 仅考虑 a i a_i ai 和 a j a_j aj 时对偶问题的约束 0 ∑ i 1 m a i y i 0\sum^m_{i1}a_iy_i 0∑i1maiyi变为 a i y i a j y j c , a i ≥ 0 , a j ≥ 0 a_iy_ia_jy_jc,a_i \geq0,a_j\geq 0 aiyiajyjc,ai≥0,aj≥0 用 a i a_i ai 表示 a j a_j aj 代入对偶问题 m a x a ∑ i 1 m a i − 1 2 ∑ i 1 m ∑ j 1 m a i a j y i y j x i T x j \underset{a}{max}\sum^m_{i1}a_i-{1\over 2}\sum^m_{i1}\sum^m_{j1}a_ia_jy_iy_jx_i^Tx_j amaxi1∑mai−21i1∑mj1∑maiajyiyjxiTxj 有闭式解对任意支持向量 ( x s , y s ) (x_s,y_s) (xs,ys) 有 y s f ( x s ) 1 y_sf(x_s)1 ysf(xs)1由此可解出 b b b
找最初两个点时先把违背 KKT 条件最多的点找出来理论上第二个点也是寻找违背KKT条件最多的点但是计算量太大因此第二个点找离它间隔最远的点为提高鲁棒性通常使用所有支持向量求解的平均值
5.4 特征空间映射
若不存在一个能正确划分两类样本的超平面怎么办 将样本从原始空间映射到一个更高维的特征空间使样本在这个特征空间内线性可分 如果原始空间是有限维属性数有限那么一定存在一个高维特征空间使样本线性可分
设样本 x x x 映射后的向量为 ϕ ( x ) \phi(x) ϕ(x) 划分超平面 f ( x ) w T ϕ ( x ) b f(x)w^T\phi(x)b f(x)wTϕ(x)b 原始问题 a r g m i n w , b 1 2 ∣ ∣ w ∣ ∣ 2 s . t . y i ( w T ϕ ( x i ) b ) ≥ 1 , i 1 , 2 , . . . , m \underset{w,b}{argmin}{1\over2} ||w||^2 \\ s.t. \quad y_i(w^T\phi(x_i)b)\geq1,i1,2,...,m w,bargmin21∣∣w∣∣2s.t.yi(wTϕ(xi)b)≥1,i1,2,...,m 对偶问题 m a x a ∑ i 1 m a i − 1 2 ∑ i 1 m ∑ j 1 m a i a j y i y j ϕ ( x i ) T ϕ ( x j ) s . t . ∑ i 1 m a i y i 0 , a i ≥ 0 , i 1 , 2 , . . . , m \underset{a}{max}\sum^m_{i1}a_i-{1\over 2}\sum^m_{i1}\sum^m_{j1}a_ia_jy_iy_j\phi(x_i)^T\phi(x_j) \\ s.t. \quad \sum^m_{i1}a_iy_i0,a_i\geq0,i1,2,...,m amaxi1∑mai−21i1∑mj1∑maiajyiyjϕ(xi)Tϕ(xj)s.t.i1∑maiyi0,ai≥0,i1,2,...,m 有一个计算上的问题原来的 x x x 是一个低维的而现在的 ϕ ( x ) \phi(x) ϕ(x) 是一个非常高维的甚至可能是无限维计算两个高维向量的内积代价巨大。 预测 f ( x ) w T ϕ ( x ) b ∑ i 1 m a i y i ϕ ( x i ) T ϕ ( x j ) b f(x)w^T\phi(x)b\sum_{i1}^ma_iy_i\phi(x_i)^T\phi(x_j)b f(x)wTϕ(x)bi1∑maiyiϕ(xi)Tϕ(xj)b 观察发现 ϕ ( x i ) T ϕ ( x ) \phi(x_i)^T\phi(x) ϕ(xi)Tϕ(x)只以内积的形式出现因此可以通过另一种东西去代替核函数。
5.5 核函数
基本思路 κ ( x i , x j ) ϕ ( x i ) T ϕ ( x j ) \kappa(x_i,x_j)\phi(x_i)^T\phi(x_j) κ(xi,xj)ϕ(xi)Tϕ(xj) 绕过显式考虑特征映射、以及计算高维内积的困难 Mercer定理若一个对称函数所对应的核矩阵半正定则它能作为核函数来使用 半正定矩阵是正定矩阵的推广。实对称矩阵A称为半正定的如果二次型 X ′ A X XAX X′AX半正定即对于任意不为 0 0 0的实列向量 X X X 都有 X ′ A X ≥ 0 都有XAX≥0 都有X′AX≥0 任何一个核函数都隐式地定义了一个 R K H S RKHS RKHS再生核希尔伯特空间
核函数选择 成为决定支持向量机性能的关键
5.6 如何使用SVM
以回归学习为例 分类和回归的区别在于输出变量的类型。 定量输出称为回归或者说是连续变量预测 定性输出称为分类或者说是离散变量预测。 基本思路运行模型输出与实际输出间存在 2 ϵ 2\epsilon 2ϵ 的差别 落入 2 ϵ 2\epsilon 2ϵ 间的不计算损失 原始问题 a r g m i n w , b 1 2 ∣ ∣ w ∣ ∣ 2 C ∑ i 1 m ( ξ i ξ ^ i ) s . t . f ( x i ) − y i ≤ ϵ ξ ^ i , y i − f ( x i ) ≤ ϵ ξ ^ i , ξ i ≥ 0 , ξ ^ i ≥ 0 , i 1 , 2 , . . . , m \underset{w,b}{argmin}{1\over2} ||w||^2 C\sum^m_{i1}(\xi_i\hat\xi_i) \\ s.t. \quad f(x_i)-y_i\leq \epsilon\hat\xi_i,\\ \quad \quad y_i-f(x_i) \leq \epsilon\hat\xi_i,\\ \xi_i\geq 0, \hat\xi_i\geq 0, i1,2,...,m w,bargmin21∣∣w∣∣2Ci1∑m(ξiξ^i)s.t.f(xi)−yi≤ϵξ^i,yi−f(xi)≤ϵξ^i,ξi≥0,ξ^i≥0,i1,2,...,m 对偶问题 m a x a ∑ i 1 m y i ( a ^ i − a i ) − ϵ ( a ^ i a i ) − 1 2 ∑ i 1 m ∑ j 1 m ( a ^ i − a i ) ( a ^ j − a j ) x i T x j s . t . ∑ i 1 m ( a ^ i − a i ) 0 , 0 ≤ a i , a ^ i ≤ C \underset{a}{max}\sum^m_{i1}y_i(\hat a_i-a_i)-\epsilon(\hat a_ia_i)-{1\over 2}\sum^m_{i1}\sum^m_{j1}(\hat a_i-a_i)(\hat a_j-a_j)x_i^Tx_j\\ s.t. \quad \sum^m_{i1}(\hat a_i-a_i)0,0\leq a_i,\hat a_i\leq C amaxi1∑myi(a^i−ai)−ϵ(a^iai)−21i1∑mj1∑m(a^i−ai)(a^j−aj)xiTxjs.t.i1∑m(a^i−ai)0,0≤ai,a^i≤C
预测 f ( x ) ∑ i 1 m ( a ^ i − a i ) x i T x b f(x)\sum_{i1}^m(\hat a_i-a_i)x_i^Txb f(x)i1∑m(a^i−ai)xiTxb
6.1 神经网络模型
什么是神经网络
神经网络是由具有适应性的简单单元组成的广泛并行互连的网络它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应神经网络是一个很大的学科领域本课程仅讨论神经网络与机器学习的交集即“神经网络学习”亦称连接主义学习
神经元的“激活函数”
理想激活函数是阶跃函数0表示抑制神经元而1表示激活神经元阶跃函数具有不联系、不光滑等不好的性质常用的是 Sigmoid 函数 多层前馈网络结构 多层网络包含隐层的网络 前馈网络神经元之间不存在同层连接也不存在跨层连接
隐层和输出层神经元亦称“功能单元” 多层前馈网络具有强大的表示能力“万有逼近性”
6.2 万有逼近性
仅需一个包含足够多神经元的隐层多层前馈神经网络就能以任意精度逼近任意复杂度的连续函数。
但是如何设置隐层神经元数是未决问题实际常用“试错法”
6.3 BP算法推导
BPBackPropagation误差逆传播算法
给定训练集 D { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . ( x m , y m ) } , x i ∈ R d , y i ∈ R l D\{(x_1,y_1),(x_2,y_2),...(x_m,y_m)\}, x_i\in \mathbb{R^d}, y_i\in \mathbb{R^l} D{(x1,y1),(x2,y2),...(xm,ym)},xi∈Rd,yi∈Rl 输入 d d d 维特征向量 输出 l l l 个输出值 隐层假定使用 q q q 个隐层神经元 假定功能函数均使用 Sigmoid 函数 对于训练例 ( x k , y k ) (x_k,y_k) (xk,yk)假定网络的实际输出为 y ^ k ( y ^ 1 k , y ^ 2 k , . . . y ^ l k ) \hat y_k(\hat y_1^k,\hat y_2^k,...\hat y_l^k) y^k(y^1k,y^2k,...y^lk) y ^ j k f ( β j − θ j ) \hat y^k_jf(\beta_j-\theta_j) y^jkf(βj−θj)其中 j j j 表示第 j j j 个神经元而 k k k 为在第 k k k 个样例上 θ \theta θ 为输出层阈值 则网络在 ( x k , y k ) (x_k,y_k) (xk,yk) 上的均方误差为 E k 1 2 ∑ j 1 l ( y ^ j k − y j k ) 2 E_k{1\over 2}\sum^l_{j1}(\hat y^k_j -y^k_j)^2 Ek21j1∑l(y^jk−yjk)2 需要通过学习确定的参数数目 ( d l 1 ) q l (dl1)ql (dl1)ql 输出层 → \rightarrow → 隐层: d × q d\times q d×q 连接权 隐层 → \rightarrow → 输出层: q × l q\times l q×l 连接权 功能神经元拥有自己的阈值隐层有 q q q 个阈值输出层有 l l l 个阈值
BP算法是一个迭代学习算法在迭代的每一轮中采用广义感知机学习规则 v ← v Δ v v \leftarrow v\Delta v v←vΔv BP算法基于梯度下降策略以目标的负梯度方向对参数进行调整以 w h j w_{hj} whj为例 对误差 E k E_k Ek给定学习率 η \eta η有 Δ w h j − η ∂ E k ∂ w h j \Delta w_{hj}-\eta{\partial E_k \over\partial w_{hj}} Δwhj−η∂whj∂Ek注意到 w h j w_{hj} whj 先影响到 β j \beta_j βj再影响到 y ^ j k \hat y^k_j y^jk然后才影响到 E k E_k Ek有 ∂ E k ∂ w h j ∂ E k ∂ y ^ j k ∂ y ^ j k ∂ β j ∂ β j ∂ w h j {\partial E_k \over\partial w_{hj}}{\partial E_k \over\partial \hat y^k_j}{\partial \hat y^k_j \over\partial \beta_j}{\partial \beta_j \over\partial w_{hj}} ∂whj∂Ek∂y^jk∂Ek∂βj∂y^jk∂whj∂βj 其中 y ^ j k f ( β j − θ j ) \hat y^k_jf(\beta_j - \theta_j) y^jkf(βj−θj)对 s i g m o i d ( x ) 1 1 e − x sigmoid(x) {1\over 1e^{-x}} sigmoid(x)1e−x1有 f ′ ( x ) f ( x ) ( 1 − f ( x ) ) f(x)f(x)(1-f(x)) f′(x)f(x)(1−f(x))因此 ∂ y ^ j k ∂ β j f ′ ( β j − θ j ) y ^ j k ( 1 − y ^ j k ) {\partial \hat y^k_j \over\partial \beta_j}f(\beta_j-\theta_j)\hat y^k_j(1-\hat y^k_j) ∂βj∂y^jkf′(βj−θj)y^jk(1−y^jk) ∂ E k ∂ w h j ( y ^ j k − y j k ) ⋅ y ^ j k ( 1 − y ^ j k ) ⋅ b h {\partial E_k \over\partial w_{hj}}(\hat y^k_j-y^k_j)\cdot \hat y^k_j(1-\hat y^k_j)\cdot b_h ∂whj∂Ek(y^jk−yjk)⋅y^jk(1−y^jk)⋅bh 令 g i − ∂ E k ∂ y ^ j k ∂ y ^ j k ∂ β j y ^ j k ( 1 − y ^ j k ) ( y j k − y ^ j k ) g_i-{\partial E_k \over\partial \hat y^k_j}{\partial \hat y^k_j \over\partial \beta_j}\hat y^k_j(1-\hat y^k_j)( y^k_j -\hat y^k_j ) gi−∂y^jk∂Ek∂βj∂y^jky^jk(1−y^jk)(yjk−y^jk) 于是 Δ w h j − η ∂ E k ∂ w h j η g i b h \Delta w_{hj}-\eta{\partial E_k \over\partial w_{hj}}\eta g_ib_h Δwhj−η∂whj∂Ekηgibh类似地有 Δ θ j − η g j Δ v i h η e h x i Δ γ h − η e h \Delta \theta_j-\eta g_j \\ \Delta v_{ih}\eta e_hx_i \\ \Delta \gamma_h-\eta e_h Δθj−ηgjΔvihηehxiΔγh−ηeh 其中 e h − ∂ E k ∂ b h ⋅ ∂ b h ∂ a h b h ( 1 − b h ) ∑ j 1 l w h j g j e_h-{\partial E_k\over \partial b_h}\cdot{\partial b_h \over \partial a_h}\\b_h(1-b_h)\sum^l_{j1}w_{hj}g_j eh−∂bh∂Ek⋅∂ah∂bhbh(1−bh)j1∑lwhjgj 学习率 η ∈ ( 0 , 1 ) \eta \in(0,1) η∈(0,1)不能太大、也不能太小
