如何推广自己网站,淮北市建市,昆明制作网站的公司哪家好,正规的营销型网站建设线性回归简介 1、情景描述2、线性回归 1、情景描述 假设#xff0c;我们现在有这么一张图#xff1a;
其中#xff0c;横坐标x表示房子的面积#xff0c;纵坐标y表示房价。我们猜想x与y之间存在线性关系#xff1a; y k x b ykxb ykxb
现在#xff0c;思考一个问题我们现在有这么一张图
其中横坐标x表示房子的面积纵坐标y表示房价。我们猜想x与y之间存在线性关系 y k x b ykxb ykxb
现在思考一个问题如何找到一条直线使得这条直线尽可能地拟合图中的所有数据点
这个找最佳拟合直线的过程称为做线性回归
简而言之线性回归就是在N维空间中找一个类似直线方程ykxb一样的函数来拟合数据
线性回归模型则是利用线性函数对一个或多个自变量x和因变量y之间的关系进行拟合的模型
这里有一个问题线性等于直线吗
线性函数的定义是零阶或一阶多项式。特征是二维时线性模型在二维空间构成一条直线特征是三维时线性模型在三维空间中构成一个平面以此类推具体见下文线性回归的定义及推导
还有一个问题那就是如何评判找的哪条直线才是最优的详见文章最小二乘法传送门
2、线性回归 1线性回归的定义及推导
定义对于一个有n个特征的样本而言它的线性回归方程如下 y f ( x 1 , x 2 , . . . , x n − 1 ) ω 0 w 1 x 1 w 2 x 2 . . . w n − 1 x n − 1 y f(x_1,x_2,...,x_{n-1}) \omega_0 w_1x_1 w_2x_2 ...w_{n-1}x_{n-1} yf(x1,x2,...,xn−1)ω0w1x1w2x2...wn−1xn−1
其中 w 0 w_0 w0~ w n − 1 w_{n-1} wn−1统称为模型的参数表示样本有n个特征有时也用 θ \theta θ或 β \beta β表示 w 0 w_0 w0称为截距 w 1 w_1 w1~ w n − 1 w_{n-1} wn−1称为回归系数Regression Coefficients x 1 x_1 x1~ x n − 1 x_{n-1} xn−1为样本的输入向量y为样本的输出向量
根据简单场景推导n个特征的样本线性回归方程过程如下
假设我们有2个样本[ x 1 x_1 x11 y 1 y_1 y11]、[ x 2 x_2 x22 y 2 y_2 y23]我们猜测其关系符合 y k x b y kx b ykxb
将样本代入函数 { k ∗ 1 b 1 k ∗ 2 b 3 \begin{cases} k * 1 b 1 \\ k * 2 b 3 \end{cases} {k∗1b1k∗2b3 从最小次幂排列 { b ∗ 1 k ∗ 1 1 b ∗ 1 k ∗ 2 3 \begin{cases} b*1 k*1 1 \\ b*1 k*2 3 \end{cases} {b∗1k∗11b∗1k∗23 对应到2个特征的线性回归方程模板 { b ∗ x 01 k ∗ x 11 y 1 b ∗ x 02 k ∗ x 12 y 2 \begin{cases} b*x_{01} k*x_{11} y_1 \\ b*x_{02} k*x_{12} y_2 \end{cases} {b∗x01k∗x11y1b∗x02k∗x12y2 转换为矩阵 [ 1 1 1 2 ] [ b k ] [ 1 3 ] \left[ \begin{matrix} 1 1 \\ 1 2 \end{matrix} \right] \left[ \begin{matrix} b \\ k \end{matrix} \right] \left[ \begin{matrix} 1 \\ 3 \end{matrix} \right] [1112][bk][13]
其中 x 0 x_0 x0始终为1。对应到2个特征的线性回归方程模板 [ 1 x 11 1 x 12 ] [ b k ] [ y 1 y 2 ] \left[ \begin{matrix} 1 x_{11} \\ 1 x_{12} \end{matrix} \right] \left[ \begin{matrix} b \\ k \end{matrix} \right] \left[ \begin{matrix} y_1 \\ y_2 \end{matrix} \right] [11x11x12][bk][y1y2] 推广到一般场景 [ 1 x 11 x 21 ⋯ x n − 1 , 1 1 x 12 x 22 ⋯ x n − 1 , 2 ⋮ ⋮ ⋮ ⋱ ⋮ 1 x 1 m x 2 m ⋯ x n − 1 , m ] [ ω 0 ω 1 ⋮ ω m − 1 ] [ y 1 y 2 ⋮ y m ] \left[ \begin{matrix} 1 x_{11} x_{21} \cdots x_{{n-1},1} \\ 1 x_{12} x_{22} \cdots x_{{n-1},2} \\ \vdots \vdots \vdots \ddots \vdots \\ 1 x_{1m} x_{2m} \cdots x_{{n-1},m} \end{matrix} \right] \left[ \begin{matrix} \omega_0 \\ \omega_1 \\ \vdots \\ \omega_{m-1} \end{matrix} \right] \left[ \begin{matrix} y_1 \\ y_2 \\ \vdots \\ y_m \end{matrix} \right] 11⋮1x11x12⋮x1mx21x22⋮x2m⋯⋯⋱⋯xn−1,1xn−1,2⋮xn−1,m ω0ω1⋮ωm−1 y1y2⋮ym 简化 X ω y X\omegay Xωy 其中y为m × \times × 1的矩阵向量表示模型的理论输出 ω \omega ω为n × \times × 1的矩阵向量表示模型的样本输入X为m × \times × n的矩阵向量m表示样本数n表示样本的特征数
2线性回归的解
线性回归的解析解 ω \omega ω推导
假设Y是样本的输出矩阵向量维度为m × \times × 1则根据勒让德最小二乘准则有 J ( ω ) ∣ ∣ y − Y ∣ ∣ 2 ∣ ∣ X ω − Y ∣ ∣ 2 ( X ω − Y ) T ( X ω − Y ) J(\omega) ||y-Y||^2 ||X\omega-Y||^2(X\omega-Y)^T(X\omega-Y) J(ω)∣∣y−Y∣∣2∣∣Xω−Y∣∣2(Xω−Y)T(Xω−Y) 根据数学知识函数导数为0处取极值 ∂ ∂ ω J ( ω ) 2 X T X ω − 2 X T Y 0 \frac{\partial}{\partial\omega}J(\omega)2X^TX\omega-2X^TY0 ∂ω∂J(ω)2XTXω−2XTY0 解得 ω ( X T X ) − 1 X T Y \omega(X^TX)^{-1}X^TY ω(XTX)−1XTY
3线性回归解的几何意义
线性回归的解是通过最小二乘法求解的。其几何意义是求解 Y Y Y在 X X X的列向量空间中的投影
几何意义的推导后续视情况补充
