设计婚纱网站,三里屯网站建设,域名注册价格及续费,网页历史记录恢复NaiveBayes朴素贝叶斯 一、引言二、贝叶斯定理三、朴素贝叶斯四、举个栗子五、拉普拉斯平滑处理六、拉普拉斯平滑处理后的条件概率计算公式 一、引言
贝叶斯分类是分类算法的总称#xff0c;该类算法均以贝叶斯定理为基础#xff0c;因此称为贝叶斯分类。而朴素贝叶斯#… NaiveBayes朴素贝叶斯 一、引言二、贝叶斯定理三、朴素贝叶斯四、举个栗子五、拉普拉斯平滑处理六、拉普拉斯平滑处理后的条件概率计算公式 一、引言
贝叶斯分类是分类算法的总称该类算法均以贝叶斯定理为基础因此称为贝叶斯分类。而朴素贝叶斯Naive Bayes分类是贝叶斯分类中最简单最常见的一种分类方法。 朴素贝叶斯算法的核心思想 通过计算特征概率来预测分类即对于给出的待分类样本求解在此样本出现的条件下各个类别出现的概率哪个最大就认为此待分类样本属于哪个类别。 举个栗子 有1000个西瓜生瓜和熟瓜个数差不多现在要用这些西瓜来训练一个识别生瓜的模型应该如何做呢 在日常生活中我们根据实际经验挑选西瓜之前会先拍一拍听声音是清脆还是沉闷。如果我们只通过拍击的声音来辨别是好瓜还是坏瓜声音清脆说明西瓜还不够熟声音沉闷说明西瓜成熟。 所以坏西瓜的敲击声是清脆的概率更大好西瓜的敲击声是沉闷的概率更大。P(坏瓜声音清脆)—概率大P(好瓜声音沉闷)—概率大 当然这也并不绝对我们千挑万选地「沉闷」瓜也可能并没熟这就是噪声了。在实际生活中除了敲击声我们还有其他可能特征来辅助判断例如色泽、根蒂、品类等。 朴素贝叶斯把类似拍击声这样的特征概率化构成一个西瓜的品质向量以及对应的生瓜/熟瓜标签训练出一个标准的基于统计概率的好坏瓜模型。利用模型我们在知道某一个西瓜的特征值之后将其输入到模型中可以分别输出好坏瓜的概率根据概率的大小来判别。
二、贝叶斯定理
公式 一先验概率 事件发生前的预判概率。可以是基于历史数据的统计可以由背景常识得出也可以是人的主观观点给出。一般都是单独事件概率。在公式中P(A)和P(B) 都是先验概率。 例如如果对于某个西瓜的色泽、根蒂和纹理等特征一无所知按照常理来说西瓜是好瓜的概率是60%。那么这个概率P好瓜就被称为先验概率。 二条件概率 一个事件发生后另一个事件发生的概率又叫似然概率。在公式中P(B|A) 是条件概率。 三后验概率 事件发生后求的反向条件概率。即基于先验概率求得的反向条件概率。概率形式与条件概率相同。在公式中P(A|B) 是后验概率。 例如了解到判断西瓜是否好瓜的一个指标是纹理。一般来说纹理清晰的西瓜是好瓜的概率大一些大概是75%。如果把纹理清晰当作一种结果然后去推测好瓜的概率那么这个概率P好瓜|纹理清晰就被称为后验概率。 三、朴素贝叶斯
重要前提 每一个事件属性都是相互独立的 attributes are conditionally independent 这也是朴素的由来假设待分类项的各个属性在相互独立的情况下构造出来的分类算法。 朴素贝叶斯模型的基本思想 对于给定的待分类项X{a1, a2,a3,…,an}求解在此项出现的条件下各个类别yi出现的概率哪个P(yi|X)最大就把此待分类项归属于哪个类别。 举个栗子 有以下一组数据 在朴素贝叶斯算法中待分类项的各个特征属性条件独立 由于公式中分母P(X)表示数据集中每一个特征属性存在的概率是固定的因此我们在求解后验概率时一般只考虑分子即可。 又由于每一个特征属性相互独立 推导出 在了解计算公式之后我们使用公式来解决实际问题吧
四、举个栗子
假设已知一个瓜{‘青绿’‘稍蜷’‘沉闷’‘清晰’‘稍凹’‘硬滑’}判断该瓜好不好 一根据贝叶斯公式 二转换成分类任务的表达式 三开始计算 P(好瓜|青绿 稍蜷 沉闷 清晰 稍凹 硬滑) 和 P(坏瓜|青绿 稍蜷 沉闷 清晰 稍凹 硬滑) 的概率哪个大 分母计算采用全概率公式 带入数据 P(好瓜) 3/7 P(坏瓜) 4/7 P(青绿│好瓜)P(稍蜷│好瓜)P(沉闷│好瓜)P(清晰│好瓜)P(稍凹│好瓜)P(硬滑│好瓜) (2/3) * (1/3) * (1/3) * (3/3) * (1/3) * (2/3) 12/729 P(青绿│坏瓜)P(稍蜷│坏瓜)P(沉闷│坏瓜)P(清晰│坏瓜)P(稍凹│坏瓜)P(硬滑│坏瓜) (1/4) * (1/4) * (1/4) * (1/4) * (1/4) * (2/4) 2/4096 P(好瓜) * P(青绿│好瓜)P(稍蜷│好瓜)P(沉闷│好瓜)P(清晰│好瓜)P(稍凹│好瓜)P(硬滑│好瓜) 3/7 * 12/729 36/5103 P(坏瓜) * P(青绿│坏瓜)P(稍蜷│坏瓜)P(沉闷│坏瓜)P(清晰│坏瓜)P(稍凹│坏瓜)P(硬滑│坏瓜) 4/7 * 2/4096 8/28672 P(青绿 稍蜷 沉闷 清晰 稍凹 硬滑) 36/5103 8/28672 最终 P(好瓜|青绿 稍蜷 沉闷 清晰 稍凹 硬滑) (36/5103) / (36/5103 8/28672) 0.9619 P(坏瓜|青绿 稍蜷 沉闷 清晰 稍凹 硬滑) (8/28672) / (36/5103 8/28672) 0.0380 由于 0.9619 0.0380 因此 该瓜是好瓜。
五、拉普拉斯平滑处理
例如在上述数据集中好瓜的纹理都为‘清晰’当假设的数据中出现‘稍糊’和‘模糊’时此时我们计算出的概率为0但是在样本数据量足够大的情况下可能性并不为0。 为了解决零概率的问题法国数学家拉普拉斯最早提出用加1的方法估计没有出现过的现象的概率所以加法平滑也叫做拉普拉斯平滑。
假定数据样本量很大时每个分量x的计数加1造成的估计概率变化可以忽略不计但可以方便有效的避免零概率问题。
六、拉普拉斯平滑处理后的条件概率计算公式 Nyi表示类别y的所有样本中特征xi的特征值之和Ny表示类别y的所有样本中全部特征的特征值之和n 表示特征总数α 表示表示平滑值α∈[0,1]主要为了防止训练样本中某个特征没出现而导致Nyi 0 从而导致条件概率P( xi∣ y ) 0 的情况如果不加入平滑值则计算联合概率时由于某一项为0导致后验概率为0的异常情况出现。
