网站繁简通,百度服务中心官网,php不用框架怎么做网站,2345网址导航下载第一章 概论统计学习#xff0c;又称统计机器学习#xff08;机器学习#xff09;#xff0c;现在提到的 机器学习 往往指的就是 统计机器学习。统计学习研究的对象是数据#xff0c;其对数据的基本假设是同类数据存在一定的统计规律性#xff0c;因此可以用概率统计方法…第一章 概论统计学习又称统计机器学习机器学习现在提到的 机器学习 往往指的就是 统计机器学习。统计学习研究的对象是数据其对数据的基本假设是同类数据存在一定的统计规律性因此可以用概率统计方法处理他们用随机变量描述数据中的特征用概率分布描述数据的统计规律然后基于数据构建概率统计模型从而对数据进行预测和分析。统计学习假设数据是独立同分布i.i.d.1.1 统计学习的分类统计学习方法一般包括一下几种监督学习监督学习假设输入随机变量X和输出随机变量Y遵循联合概率分布。监督学习的模型可以是概率模型条件概率分布也可以是非概率模型决策函数。对具体的输入做预测写作或。通过学习训练得到一个模型为条件概率分布或决策函数。无监督学习无监督学习的本质是学习数据中的统计规律或潜在结构。假设是输入空间是隐式结构空间无监督学习要学习的模型可表示为或条件概率分布或强化学习半监督学习与主动学习统计学习按照模型的种类可分为概率模型和非概率模型 二者区别不在于输入与输出映射关系而在于模型内部结构概率模型决策树、朴素贝叶斯、隐马尔可夫模型、条件随机场、概率潜在语义分析、潜在狄利克雷分配、高斯混合模型。代表是概率图模型贝叶斯网络、马尔科夫随机场、条件随机场非概率模型感知机、支持向量机、k近邻、AdaBoost、k均值、潜在语义分析、神经网络线性模型和非线性模型线性模型感知机、线性支持向量机、k近邻、k均值、潜在语义分析非线性模型核函数支持向量机、AdaBoost、神经网络参数化模型和非参数化模型按照算法来分可以分为在线学习和批量学习按照技巧来分可以分为贝叶斯学习和核方法1.2 统计学习三要素统计学习三要素模型、策略、算法。在监督学习中模型就是所要学习的条件概率分布或决策函数。算法指学习模型的具体计算方法可以利用已有的最优化算法有时也需要开发独自的最优化算法。策略是按照什么样的准则从模型的假设空间中选取最优模型。下面主要讲策略。损失函数度量模型一次预测的好坏风险函数度量平均意义下模型预测的好坏。期望风险是模型关于联合分布的期望损失经验风险是模型关于训练样本集的平均损失。根据大数定律当样本容量N趋于无穷时经验风险趋于期望风险。所以一个很自然地想法就是用经验风险估计期望风险。答案现实中样本往往是有限的所以用经验风险估计期望风险往往不是很理想要对经验风险进行一定矫正。这就引出了监督学习两个基本策略经验风险最小化 和 结构风险最小化。经验风险最小化就是我们在监督学习训练模型的时候最小化经验风险训练集的平均损失结构风险最小化等价于正则化就是再经验风险上加上表示模型复杂度的正则化项或罚项。经验或结构风险函数就是最优化的目标函数。// 泛函函数的函数。1.3 泛化能力泛化误差学习到的模型对未知数据预测的误差即为泛化误差。事实上泛化误差就是所学习到的模型的期望风险。泛化误差上界TODO1.4 生成模型与判别模型监督学习方法可以分为 生成方法 和 判别方法学到的模型分别是 生成模型 和 判别模型。生成模型由数据学习联合概率分布然后求出条件概率分布作为预测的模型。即。这类方法之所以称为生成方法是因为模型表示了给定输入X产生输出Y的生成关系。典型的生成模型朴素贝叶斯法、隐马尔可夫模型判别模型由数据直接学习决策函数或条件概率分布作为预测的模型。判别方法关心的是对给定的输入X应该预测什么样的输出Y典型的判别模型k近邻法、感知机、逻辑斯蒂回归模型、最大熵模型、支持向量机、提升方法和条件随机场。两类方法的优缺点生成方法生成方法可以还原出联合概率分布判别方法不能生成方法的收敛速度更快当存在隐变量时仍可以用生成方法学习但不能用判别方法判别方法判别方法直接学习条件概率或决策函数直接面对预测往往学习准确率更高由于直接学习或可以对数据进行各种程度上的抽象定义特征并使用特征因此可以简化学习问题。
