网站建设费怎么记账,wordpress设置侧边栏,网页传奇游戏哪个好玩,如何学建设网站基础知识#xff1a; 先验概率#xff1a;对某个事件发生的概率的估计。可以是基于历史数据的估计#xff0c;可以由专家知识得出等等。一般是单独事件概率。
后验概率#xff1a;指某件事已经发生#xff0c;计算事情发生是由某个因素引起的概率。一般是一个条件概率。 …基础知识 先验概率对某个事件发生的概率的估计。可以是基于历史数据的估计可以由专家知识得出等等。一般是单独事件概率。
后验概率指某件事已经发生计算事情发生是由某个因素引起的概率。一般是一个条件概率。
条件概率条件事件发生后另一个事件发生的概率。一般的形式为 P ( B ∣ A ) P(B|A) P(B∣A)表示 A A A发生的条件下 B B B发生的概率。 P ( B ∣ A ) P ( A B ) P ( A ) P(B|A) \frac {P(AB)}{P(A)} P(B∣A)P(A)P(AB) 贝叶斯公式基于先验概率计算后验概率的方法公式为 P ( A ∣ B ) P ( B ∣ A ) ⋅ P ( A ) P ( B ) P(A|B) \frac {P(B|A) \cdot P(A)}{P(B)} P(A∣B)P(B)P(B∣A)⋅P(A) P ( A ∣ B ) P(A∣B) P(A∣B): 在事件 B B B 发生的条件下事件 A A A 发生的概率后验概率。 P ( B ∣ A ) P(B | A) P(B∣A)在事件 A A A 发生的条件下事件 B B B 的发生概率似然概率。 P ( A ) P(A) P(A)事件 A A A 发生的先验概率先验知识。 P ( B ) P(B) P(B)事件 B B B 发生的总概率。
贝叶斯公式可以从条件概率和全概率公式推导得出
条件概率定义 P ( A ∣ B ) P ( A ∩ B ) P ( B ) , P ( B ∣ A ) P ( A ∩ B ) P ( A ) P(A | B) \frac {P(A \cap B)}{P(B)}, P(B|A) \frac {P(A \cap B)}{P(A)} P(A∣B)P(B)P(A∩B),P(B∣A)P(A)P(A∩B)公式联立 P ( A ∩ B ) P ( B ∣ A ) ⋅ P ( A ) P ( A ∣ B ) ⋅ P ( B ) P(A \cap B) P(B|A) \cdot P(A) P(A | B) \cdot P(B) P(A∩B)P(B∣A)⋅P(A)P(A∣B)⋅P(B)整理得到贝叶斯公式 P ( A ∣ B ) P ( B ∣ A ) P ( A ) P ( B ) P(A | B) \frac {P(B | A) P(A)}{P(B)} P(A∣B)P(B)P(B∣A)P(A)
贝叶斯公式将先验概率 P ( A ) P(A) P(A)、似然概率 P ( B ∣ A ) P(B∣A) P(B∣A) 和证据 P ( B ) P(B) P(B) 结合计算后验概率 P ( A ∣ B ) P(A∣B) P(A∣B)。
朴素贝叶斯做出了一个假设”属性条件独立假设“对所有已知标签的样本假设每个属性独立地对标签结果产生影响。这是一个很强的条件
假设样本为 x { a 1 , a 2 , . . . , a d } x\{a_{1}, a_{2}, ..., a_{d} \} x{a1,a2,...,ad}label为 Y { c 1 , c 2 , c 3 , . . . , c n } Y \{c_{1}, c_{2}, c_{3}, ...,c_{n} \} Y{c1,c2,c3,...,cn}则计算这样一个样本 x x x 的所属类别的公式为 P ( c k ∣ x ) max { P ( c 1 ∣ x ) , P ( c 2 ∣ x ) , P ( c 3 ∣ x ) , . . . , P ( c n ∣ x ) } P(c_{k} | x) \max \{ P(c_{1} |x), P(c_{2} | x), P(c_{3} | x), ..., P(c_{n} |x)\} P(ck∣x)max{P(c1∣x),P(c2∣x),P(c3∣x),...,P(cn∣x)} 基于条件独立假设可以得到 P ( c ∣ x ) P ( c ) P ( x ∣ c ) P ( x ) P ( c ) P ( x ) ∏ i 1 d P ( x i ∣ c ) P(c|x) \frac {P(c)P(x|c)}{P(x)} \frac {P(c)}{P(x)} \prod_{i1}^{d} P(x_{i}|c) P(c∣x)P(x)P(c)P(x∣c)P(x)P(c)i1∏dP(xi∣c) 其中 d d d为属性数目 x i x_{i} xi为 x x x 在第 i i i 个属性上的取值。 我们重写上述公式 h n b ( x ) max { P ( c 1 ∣ x ) , P ( c 2 ∣ x ) , P ( c 3 ∣ x ) , . . . , P ( c n ∣ x ) } arg max c ∈ Y P ( c ) P ( x ) ∏ i 1 d P ( x i ∣ C ) arg max c ∈ Y P ( c ) ∏ i 1 d P ( x i ∣ C ) \begin{align} h_{nb}(x) \max \{ P(c_{1} |x), P(c_{2} | x), P(c_{3} | x), ..., P(c_{n} |x)\} \\ \arg \max_{c \in Y} \frac {P(c)}{P(x)} \prod_{i1}^{d}P(x_{i} | C) \\ \arg \max_{c \in Y} P(c) \prod_{i1}^{d}P(x_{i} | C) \end{align} hnb(x)max{P(c1∣x),P(c2∣x),P(c3∣x),...,P(cn∣x)}argc∈YmaxP(x)P(c)i1∏dP(xi∣C)argc∈YmaxP(c)i1∏dP(xi∣C) 令 D c D_{c} Dc 表示训练集 D D D 中第 c c c 类样本组成的集合若有充足的独立同分布样本则可以容易地估计出类别的先验概率 P ( c ) ∣ D c ∣ ∣ D ∣ P(c) \frac {|D_{c}|}{|D|} P(c)∣D∣∣Dc∣ 对于离散属性而言令 D c , x i D_{c, x_{i}} Dc,xi 表示 D c D_{c} Dc 中第 i i i 个属性上取值为 x i x_{i} xi 的样本组成的集合则条件概率 P ( x i ∣ c ) P(x_{i} |c) P(xi∣c) 可估计为 P x i ∣ c ∣ D c , x i ∣ ∣ D c ∣ P{x_{i} | c} \frac {|D_{c, x_{i}}|}{|D_{c}|} Pxi∣c∣Dc∣∣Dc,xi∣ 对于连续属性可考虑概率密度函数假定 p ( x i ∣ c ) ∼ N ( μ c , i , σ c , i 2 ) p(x_{i}|c) \sim \mathcal{N}(\mu _{c, i}, \sigma _{c,i}^{2}) p(xi∣c)∼N(μc,i,σc,i2)d其中 μ c , i \mu_{c, i} μc,i和 σ c , i 2 \sigma_{c, i}^{2} σc,i2分别是第 c c c 类样本在第 i i i 个属性上取值的均值和方差则有 p ( x i ∣ c ) 1 2 π σ c , i exp ( − ( x i − μ c , i ) 2 2 σ c , i 2 ) p(x_{i} | c) \frac {1}{\sqrt{2 \pi} \sigma_{c, i}} \exp (- \frac {(x_{i}-\mu_{c, i})^2}{2 \sigma_{c, i}^{2}}) p(xi∣c)2π σc,i1exp(−2σc,i2(xi−μc,i)2)
