建设网站网站,如何做网线水晶头接法图解,网站后台管理系统栏目位置,网站创作规划感知机
单层感知机原理
单层感知机:解决二分类问题#xff0c;激活函数一般使用sign函数,基于误分类点到超平面的距离总和来构造损失函数,由损失函数推导出模型中损失函数对参数 w w w和 b b b的梯度#xff0c;利用梯度下降法从而进行参数更新。让1代表A类#xff0c;0代…感知机
单层感知机原理
单层感知机:解决二分类问题激活函数一般使用sign函数,基于误分类点到超平面的距离总和来构造损失函数,由损失函数推导出模型中损失函数对参数 w w w和 b b b的梯度利用梯度下降法从而进行参数更新。让1代表A类0代表B类。
以下是原理示意图 神经元会计算传送过来的信号的总和当这个总和超过了阈值 θ θ θ时才会输出1。这也称为“神经元被激活”。 二进制步进函数 y { 1 , w T x b θ 0 , w T x b θ 二进制步进函数\\ y \begin{cases} 1, w^Txb\theta\\ 0, w^Txb\theta \end{cases} 二进制步进函数y{1,wTxbθ0,wTxbθ
损失函数基于误分类点到超平面的距离总和 点 ( x , y ) 到直线 ( A x B y C w T x b 0 ) 距离 : d ∣ A x 0 B y 0 C ∣ A 2 B 2 ∣ w T x b ∣ ∣ ∣ w ∣ ∣ 点(x,y)到直线(AxByCw^Txb0)距离:d \frac{|Ax_0By_0C|}{\sqrt{A^2B^2}}\frac{|w^Txb|}{||w||} 点(x,y)到直线(AxByCwTxb0)距离:dA2B2 ∣Ax0By0C∣∣∣w∣∣∣wTxb∣ L O S S ∑ i 1 m − y i ( w T x i b ) LOSS \sum_{i1}^{m}{-{y_i(w^Tx_ib)}} LOSSi1∑m−yi(wTxib) ∂ L o s s ∂ w − ∑ i 1 m y i x i ∂ L o s s ∂ b − ∑ i 1 m y i \frac{\partial Loss}{\partial w} -\sum^{m}_{i1}y_ix_i\\ \frac{\partial Loss}{\partial b} -\sum^{m}_{i1}y_i ∂w∂Loss−i1∑myixi∂b∂Loss−i1∑myi
感知机训练算法 ∗ ∗ 算法 1 感知机训练算法 ∗ ∗ 初始化参数 w 0 , b 0 r e p e a t : { 从训练集随机采样一个样本 ( x i , y i ) 计算感知机的输出 t f ( w T x i b ) , f ( x ) 1 , x 0 ; f ( x ) 0 , x ≤ 0 如果 t ≠ y i 更新权值 : w ← w η ( y i − t ) x i 更新偏移量 : b ← b η ( y i − t ) } u n t i l 训练次数达到要求输出 : 分类网络参数 w 和 b , 其中 η 为学习率。 **算法 1感知机训练算法**\\ 初始化参数 w 0, b 0\\ repeat:\{ 从训练集随机采样一个样本(x_i, y_i) \\ 计算感知机的输出 t f(w^T x_i b),f(x)1,x0; f(x)0, x \leq 0\\ 如果t ≠ y_i\\ 更新权值:w ← w \eta (y_i-t)x_i \\ 更新偏移量:b ← b \eta (y_i-t)\\ \}until 训练次数达到要求 输出:分类网络参数w和b,其中\eta 为学习率。 ∗∗算法1感知机训练算法∗∗初始化参数w0,b0repeat:{从训练集随机采样一个样本(xi,yi)计算感知机的输出tf(wTxib),f(x)1,x0;f(x)0,x≤0如果tyi更新权值:w←wη(yi−t)xi更新偏移量:b←bη(yi−t)}until训练次数达到要求输出:分类网络参数w和b,其中η为学习率。
单层感知机返回的 w T b 0 w^Tb0 wTb0构成一条直线这也是单层感知机的局限可以实现与门、与非门(与门取反、或门三种逻辑电路无法实现异或门XOR与非门和或门的与 逻辑电路. 反向传播算法 正确理解误差反向传播法有两种方法 一种是基于数学式—微分链 另一种是基于计算图computational graph,直观地理解误差反向传播法。 计算图 在计算图上从左向右进行计算是正方向上的传播简称为正向传播forward propagation。正向传播是从计算图出发点到结束点的传播。当然从图上看从右向左的传播,称为反向传播backward propagation。反向传播在导数计算中发挥重要作用。
假设我们想知道苹果价格的上涨会在多大程度上影响最终的支付金额即求“支付金额关于苹果的价格的导数”。这个导数的值表示当苹果的价格稍微上涨时支付金额会增加多少。反向传播使用与正方向相反的箭头粗线表示。反向传播传递“局部导数”将导数的值写在箭头的下方。在这个例子中反向传播从右向左传递导数的值1→1.1→2.2。从这个结果中可知“支付金额关于苹果的价格的导数”的值是2.2。这意味着如果苹果的价格上涨1元最终的支付金额会增加2.2元严格地讲如果苹果的价格增加某个微小值则最终的支付金额将增加那个微小值的2.2倍
链式法则 加法节点 乘法节点 激活节点
1.relu 2.sigmoid函数
计算图的反向传播: 步骤1: “/”节点表示 y 1 x y\frac{1}{x} yx1它的导数可以解析性地表示为: ∂ y ∂ x − 1 x 2 − y 2 \frac{\partial y}{\partial x} -\frac{1}{x^2} -y^2 ∂x∂y−x21−y2 。反向传播时会将上游的值乘以−y2正向传播的输出的平方乘以−1后的值后再传给下游。计算图如下所示。 步骤2: “”节点将上游的值原封不动地传给下游。计算图如下所示. 步骤3: “exp”节点表示: y e x p ( x ) y exp(x) yexp(x)它的导数: ∂ y ∂ x e x p ( x ) \frac{\partial y}{\partial x} exp(x) ∂x∂yexp(x)。 计算图中上游的值乘以正向传播时的输出例中是exp(−x)后再传给下游。 步骤4: “×”节点将正向传播时的值翻转后做乘法运算。因此这里要乘以−1。 这里要注意反向传播的输出 ∂ L ∂ y y 2 e x p ( − x ) \frac{\partial L}{\partial y}y^2exp(-x) ∂y∂Ly2exp(−x)这个值只根据正向传播时的输入x和输出y就可以算出来。 因此计算图可以画成集约化的“sigmoid”节点。
简洁版的计算图可以省略反向传播中的计算过程因此计算效率更高。 ∂ L ∂ y y 2 e x p ( − x ) ∂ L ∂ y y ( 1 − y ) \frac{\partial L}{\partial y}y^2exp(-x) \frac{\partial L}{\partial y}y(1-y) ∂y∂Ly2exp(−x)∂y∂Ly(1−y)
因此Sigmoid 层的反向传播只根据正向传播的输出就能计算出来。
(3)Affine层 (np.dot())
矩阵的乘积运算在几何学领域被称为“仿射变换”Affine。因此使用仿射变换的处理实现为“Affine层”
