免费做封面的网站,好的建站软件,画册设计公司网站,青岛模板建站回归用来表示输入输出之间的关系。 用实际例子来解释一下线性回归#xff1a;根据房屋的面积、房龄来估算房屋价格。为了实现这个预测放假的模型#xff0c;需要收集一个真实的数据集#xff0c;该数据集包括了房屋的销售价格、面积和房龄。 在机器学习中#xff0c;这个数…回归用来表示输入输出之间的关系。 用实际例子来解释一下线性回归根据房屋的面积、房龄来估算房屋价格。为了实现这个预测放假的模型需要收集一个真实的数据集该数据集包括了房屋的销售价格、面积和房龄。 在机器学习中这个数据集称为训练集training set每行数据称为样本sample或数据点data point试图预测的目标称为标签label或目标target。预测所依据的自变量面积和房龄称为特征feature。 通常我们使用n来表示数据集中的样本数。对索引为i的样本其输入表示为 x ( i ) [ x 1 ( i ) , x 2 ( i ) ] T x^{(i)}[x_1^{(i)},x_2^{(i)}]^T x(i)[x1(i),x2(i)]T 其对应的标签是 y ( i ) y^{(i)} y(i) 线性回归的基本元素 线性模型损失函数解析解 线性模型 p r i c e w a r e a ⋅ a r e a w a g e ⋅ a g e b pricew_{area}·areaw_{age}·ageb pricewarea⋅areawage⋅ageb 其中w为权重决定了每个特征对我们预测值的影响。b为偏置指当所有特征取0时的预测值。 严格来说上式是输入特征的一种仿射变换其特点是通过加权和特征进行线性变换并通过偏置项来进行平移。 而在机器学习中通常使用高维数据集建模时采用线性代数表示法会比较方便。当我们的输入包含d个特征时我们将预测结果表示为 y ^ w 1 x 1 . . . w d x d b \hat{y}w_1x_1...w_dx_db y^w1x1...wdxdb 将所有的特征放到向量x中并将所有权重放到向量w中可以用点积来简洁地表达模型 y ^ w T x b \hat{y}w^Txb y^wTxb 显然向量x只能对应于单个数据样本的特征。 用符号表示的矩阵X可以很方便地引用我们整个数据集的n个样本。其中X的每一行是一个样本每一列是一种特征。 对于特征集合X预测值可以通过矩阵-向量乘法表示为 y ^ X w b \hat{y}Xwb y^Xwb 这个过程中的求和将使用广播机制给定X和y线性回归的目标就是找到一组权重向量w和偏置b当给定从X的同分布中取样的新样本特征时能使得新样本预测标签的误差尽可能小。 但即使确信特征与标签的潜在关系是线性的 我们也会加入一个噪声项来考虑观测误差带来的影响。 因此在开始寻找最好的模型参数w和b之前还需要两个东西 1一种模型质量的度量方式 2一种能够更新模型以提高模型预测质量的方法
损失函数
损失函数能够量化目标的实际值与预测值之间的差距。通常选择非负数作为损失数值越小表示损失越小完美预测的损失为0。 回归问题中最常用损失函数是平方误差函数 l ( i ) ( w , b ) 1 2 ( y ^ ( i ) − y ( i ) ) 2 l^{(i)}(w,b)\frac{1}{2}(\hat{y}^{(i)}-y^{(i)})^2 l(i)(w,b)21(y^(i)−y(i))2 常数1/2不会带来本质上的差别但这样的形式会稍微简单一点因为求导后常系数会变为1。 由于平方误差函数中的二次方项估计值和观测值之间较大的差异会导致更大的损失。为了度量模型在整个数据集上的质量我们要计算在训练集n个样本上的损失均值等价于求和 L ( w , b ) 1 n ∑ i 1 n l ( i ) ( w , b ) 1 n ∑ i 1 n 1 2 ( w T x ( i ) b − y ( i ) ) 2 L(w,b)\frac{1}{n}\sum_{i1}^nl^{(i)}(w,b) \frac{1}{n}\sum_{i1}^n{\frac{1}{2}(w^Tx^{(i)}b-y^{(i)})^2} L(w,b)n1i1∑nl(i)(w,b)n1i1∑n21(wTx(i)b−y(i))2 在训练模型时希望寻找一组参数这组参数能最小化在所有训练样本上的总损失。
解析解
线性回归是一个很简单的优化问题线性回归的解可以用一个公式简单表达这类解叫做解析解。 首先将偏置b合并到参数w中合并方法是在包含所有参数的矩阵中附加一列。我们的预测问题是最小化 ∣ ∣ y − X w ∣ ∣ 2 ||y-Xw||^2 ∣∣y−Xw∣∣2 这在损失平面上只有一个临界点对应于整个取余的损失极小点。将损失关于w的导数设为0得到解析解 w ∗ ( X T X ) − 1 X T y w^*(X^TX)^{-1}X^Ty w∗(XTX)−1XTy 但是解析解对问题限制太严格不适合广泛应用于深度学习接下来讲解随机梯度下降几乎可以用来优化所有深度学习模型。
