网站建设采用的技术,网站内页如何做排名,怎么做坑人网站,wordpress首页文章分类机器学习数学基础概念、知识汇总#xff08;线代#xff09; 数学概念映射与函数线性与非线性空间线性空间#xff08;向量空间#xff09;向量基矩阵范数L-p范数L-0范数L-1范数L-2范数L-∞范数机器学习中的正则化L1正则化L2正则化L1与L2的区别 数学概念
本文将总结在机器… 机器学习数学基础概念、知识汇总线代 数学概念映射与函数线性与非线性空间线性空间向量空间向量基矩阵范数L-p范数L-0范数L-1范数L-2范数L-∞范数机器学习中的正则化L1正则化L2正则化L1与L2的区别 数学概念
本文将总结在机器学习与深度学习中所涉及到的一些基础数学知识与概念。并阐述该数学知识在机器学习中的一些意义。本文不定期持续更新
映射与函数
映射表达的就是一个集合通过某种关系转为另外一个集合。而函数是一种特殊的映射。为了更好地在数学上表达这种映射关系尤其是线性关系引入了矩阵。
线性与非线性
线性linear指量与量之间按比例、成直线的关系在数学上可以理解为一阶导数为常数的函数在函数中可以简单地理解为由数字相乘和相加组合而成并不包含任何次方的概念 非线性non-linear则指不按比例、不成直线的关系一阶导数不为常数。在函数中任何二次或多次方的多项式都是非线性的。
空间
现代数学以集合为研究对象有了研究对象还需要有研究对象需要遵循的规则。定义一个规则后就得到了一个赋有某种规则的集合即一个空间。 因此数学中的空间的组成包括两个部分研究的对象和内在的规则或者叫做元素和结构。
线性空间向量空间
线性空间就是定义了加法和数乘的空间。在机器学习过程中本人认为可以狭义的认为向量空间等同于线性空间
向量
既然空间是一个集合那么组成线性空间这个集合的元素被称作向量。 向量也称为欧几里得向量、几何向量、矢量指具有大小magnitude和方向的量。它可以形象化地表示为带箭头的线段。箭头所指代表向量的方向线段长度代表向量的大小。
基
基是线性代数的概念。在线性代数中基也称为基底是描述、刻画向量空间的基本工具。这里可以想象一下如果我们要在一个三维空间去描述一个向量首先我们需要去做一个坐标系。那么这个坐标系就可以看作是我们的基。可以扩展至多维空间也是同样的道理 向量空间的基是它的一个特殊的子集基的元素称为基向量。 向量空间中任意一个元素都可以唯一地表示成基向量的线性组合。如果基中元素个数有限就称向量空间为有限维向量空间将元素的个数称作向量空间的维数。 个人理解就是任何在线性空间中不能再被拆分的所有向量都可以称之为这个空间的基向量 同理推导出任何一些线性不相关的
矩阵
矩阵Matrix是一个按照长方阵列排列的复数或实数集合。 这里推荐一下这篇文章https://blog.csdn.net/qq_34993631/article/details/80671693 如果没兴趣看的话简而言之矩阵的本质是用来形容运动的。而“运动”可以理解为伸缩和旋转。 机器学习为什么要用矩阵试着想一想机器学习的过程用来提取特征性向量在训练过程中也是将数据变成一个个的特征向量。n个样本每个样本具有m个特征将组成一个n*m的矩阵。 同时矩阵可以用来表达一种映射关系。一个向量通过矩阵所表达的映射关系得到另一个向量。可以简单的理解为原始向量在训练中不断通过这种映射关系的计算提取最终的特征向量的过程。
关于机器学习所涉及的所有其他的关于矩阵相关的知识参考另一篇文章
范数
范数是具有“长度”概念的函数。是矢量空间内的所有矢量赋予非零的正长度或大小。范数是一种强化了的距离概念它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解我们可以把范数当作距离来理解。
向量空间中的向量都是有大小的这个大小如何度量就是用范数来度量的不同的范数都可以来度量这个大小就好比米和尺都可以来度量远近一样对于矩阵范数学过线性代数我们知道通过运算AXB可以将向量X变化为B矩阵范数就是来度量这个变化大小的。 ∥ x ∥ \left \| \boldsymbol{x} \right \| ∥x∥、 ∥ X ∥ \left \| \boldsymbol{X} \right \| ∥X∥ 其中 x \boldsymbol{x} x、 X \boldsymbol{X} X 分别表示向量和矩阵
参考链接范数定义和数学意义.
L-p范数
L-P范数不是一个范数而是一组范数 L-0范数
当P0时也就是L0范数由上面可知L0范数并不是一个真正的范数它主要被用来度量向量中非零元素的个数。 我们知道非零元素的零次方为1但零的零次方为0非零数开零次方都是什么鬼很不好说明L0的意义所以在通常情况下大家都用的是 表示向量x中非零元素的个数。
对于L0范数其优化问题为 使得其非常适合机器学习中稀疏编码一种无监督学习特征选择的应用。
(由于L0是一个NP-hard问题,所以一般用L1来对模型进行约束)
L-1范数
定义 ∥ X ∥ 1 ∑ i 1 n ∣ x i ∣ {\left\| X \right\|_1} \sum\limits_{i 1}^n {\left| {{x_i}} \right|} ∥X∥1i1∑n∣xi∣ 即 各个元素的绝对值之和。 L1范数有很多的名字例如我们熟悉的曼哈顿距离、最小绝对误差等。使用L1范数可以度量两个向量间的差异如绝对误差和Sum of Absolute Difference 优化问题如下 对L1优化的解是一个稀疏解因此L1范数也被叫做稀疏规则算子。通过L1可以实现特征的稀疏去掉一些没有信息的特征。
L-2范数
L2范数是我们最常见最常用的范数了我们用的最多的度量距离欧氏距离就是一种L2范数它的定义如下 像L1范数一样L2也可以度量两个向量间的差异如平方差和: 优化问题 L2范数通常会被用来做优化目标函数的正则化项防止模型为了迎合训练集而过于复杂造成过拟合的情况从而提高模型的泛化能力。
L-∞范数
它主要被用来度量向量元素的最大值与L0一样通常情况下表示为
机器学习中的正则化
正则化让模型根据训练数据中常见的模式来学习相对简单的模型无正则化的模型用大参数学习大噪声。
L1正则化
损失函数为 其中L0表示没有正则化时的损失函数。对它求w的偏导 ∂ ℓ ∂ w ∂ ℓ 0 ∂ w λ ⋅ s g n ( w ) \frac{\partial{\ell}}{\partial{w}} \frac{\partial{\ell_0}}{\partial{w}} {\lambda}\cdot sgn(w) ∂w∂ℓ∂w∂ℓ0λ⋅sgn(w)
L1正则能让模型变得稀疏。L1对于小权重减小地很快对大权重减小较慢因此最终模型的权重主要集中在那些高重要度的特征上对于不重要的特征权重会很快趋近于0。
L2正则化
损失函数 最小化损失函数 L2正则化通过权重衰减保证了模型的简单提高了泛化能力。 原因解释参考链接
L1与L2的区别
L1减少的是一个常量L2减少的是权重的固定比例 L1使权重稀疏L2使权重平滑 L1优点是能够获得sparse模型对于large-scale的问题来说这一点很重要因为可以减少存储空间 L2优点是实现简单能够起到正则化的作用。缺点就是L1的优点无法获得sparse模型
