沈阳网站建设 龙兴科技,腾讯公告最新官方消息,电子商务网站的建设内容,番禺网站开发费用#x1f468;#x1f393;作者简介#xff1a;一位即将上大四#xff0c;正专攻机器学习的保研er #x1f30c;上期文章#xff1a;机器学习深度学习——线性回归的简洁实现 #x1f4da;订阅专栏#xff1a;机器学习深度学习 希望文章对你们有所… 作者简介一位即将上大四正专攻机器学习的保研er 上期文章机器学习深度学习——线性回归的简洁实现 订阅专栏机器学习深度学习 希望文章对你们有所帮助 softmax回归 分类问题网络架构全连接层的参数开销softmax运算小批量样本的矢量化 回归可以用来预测多少的问题比如房屋被售出价格。而除了预测我们也对分类问题感兴趣不是问“多少”而是问“哪一个”。如“某个邮件是否是垃圾邮件图像描绘的是什么动物某人接下来最可能看哪部电影” 分类问题
以图像分类为例每次输入一个2×2的灰度图像可以用一个标量表示每个像素值每个图像对应四个特征x1、x2、x3、x4。假设每个图像属于类别“猫”“鸡”和“狗”中的一个。 接下来要选择如何表示标签最直接的想法是选择y∈{1,2,3}分别代表{狗猫鸡}。 如果类别间有一些自然顺序比如我们要试图预测{婴儿,儿童,青少年,青年人,中年人,老年人}那么该问题就会转变为回归问题。但一般的分类问题和类别之间的自然顺序是无关的。 独热编码 独热编码是一个向量它的分量与类别是一样多的。类别对应的分量设置为1其它所有分量设置为0如 y∈{(1,0,0),(0,1,0),(0,0,1)}分别代表三类动物。
网络架构
要解决线性模型的分类问题需要设置和输出一样多的仿射函数在上面的问题中我们有4个特征和3个可能的输出类别所以我们需要用12个标量来表示权重3个标量来表示偏置带下标的b o 1 x 1 w 11 x 2 w 12 x 3 w 13 x 4 w 14 b 1 o 2 x 2 w 21 x 2 w 22 x 3 w 23 x 4 w 24 b 2 o 1 x 1 w 31 x 2 w 32 x 3 w 33 x 4 w 34 b 3 o_1x_1w_{11}x_2w_{12}x_3w_{13}x_4w_{14}b_1\\ o_2x_2w_{21}x_2w_{22}x_3w_{23}x_4w_{24}b_2\\ o_1x_1w_{31}x_2w_{32}x_3w_{33}x_4w_{34}b_3 o1x1w11x2w12x3w13x4w14b1o2x2w21x2w22x3w23x4w24b2o1x1w31x2w32x3w33x4w34b3 其中o表示未规范化的预测。 我们可以用神经网络图来描述这个计算过程显然softmax回归也是个单层神经网络。由于输出取决于所有的输入所以softmax回归的输出层也是全连接层 可以用oWxb来表示模型。
全连接层的参数开销
全连接层无处不在对于任何具有d个输入和q个输出的全连接层参数开销为 O ( d q ) O(dq) O(dq) 这个数字还是太大了但将d个输入转换为q个输出的成本可以减少到 O ( d q n ) O(\frac{dq}{n}) O(ndq) 超参数n可以由我们灵活指定。
softmax运算
现在我们将优化参数以最大化观测数据的概率。为了得到预测结果我们设置一个阈值如选择具有最大概率的标签。 我们希望模型输出三个类的概率然后选用最大输出值来作为我们的预测。 但我们不能将未规范化的预测o直接视作我们感兴趣的输出。因为将线性层的输出直接视为概率时会存在一些问题 1、我们没有限制这些输出数字的总和为1。 2、根据输入的不同它们可以为负值违背了概率基本公理。 要将输出视为概率必须保证在任何数据上的输出都是非负的且总和为1。此外需要训练一个目标函数来激励模型精准的估计概率。例如在分类器输出0.5的所有样本中我们希望这些样本是刚好有一半实际上属于预测的类别。这个属性叫做校准。 而softmax函数能够将未规范化的预测变换为非负数并且总和为1同时让模型保持可导的性质。为了完成这一目标我们首先对每个未规范化的预测求幂这样可以确保输出非负。为了确保最终输出的概率值总和为1我们让每个求幂后的结果除以它们的总和 y ^ s o f t m a x ( o ) 其中 y ^ j e x p ( o j ) ∑ k e x p ( o k ) \hat{y}softmax(o)其中\hat{y}_j\frac{exp(o_j)}{\sum_kexp(o_k)} y^softmax(o)其中y^j∑kexp(ok)exp(oj) 这里对于所有的j总有 0 ≤ y ^ j ≤ 1 0≤\hat{y}_j≤1 0≤y^j≤1 因此y hat可以视为一个正确的概率分布。 softmax运算不会改变未规范化的预测o之间的大小次序只会确定分配给每个类别的概率。因此在预测过程中我们可以用下式来选择最有可能的类别 a r g m a x j y ^ j a r g m a x j o j argmax_j\hat{y}_jargmax_jo_j argmaxjy^jargmaxjoj 尽管softmax是一个非线性函数但softmax回归的输出仍然由输入特征的仿射变换决定。因此softmax回归是一个线性模型。
小批量样本的矢量化
为了提高计算效率并且充分利用GPU我们通常会对小批量样本的数据执行矢量计算。假设我们读取了一个批量的样本X其中特征维度输入数量为d批量大小为n。此外假设我们在输出中有q个类别。那么 小批量样本的特征为 X ∈ R n × d 权重为 W ∈ R d × q 偏置为 b ∈ R 1 × q 小批量样本的特征为X∈R^{n×d}\\ 权重为W∈R^{d×q}\\ 偏置为b∈R^{1×q} 小批量样本的特征为X∈Rn×d权重为W∈Rd×q偏置为b∈R1×q softmax回归的矢量计算表达式为 O X W b Y ^ s o f t m a x ( O ) OXWb\\ \hat{Y}softmax(O) OXWbY^softmax(O) 小批量样本的矢量化加快了X和W的矩阵-向量乘法。 由于X中的每一行代表一个数据样本那么softmax运算可以按行执行对于O的每一行我们先对所有项进行幂运算然后通过求和来对他们进行标准化。XWb的求和会使用广播机制小批量的未规范化预测和输出概率都是n×q的矩阵。
