行业用品网站怎么建设外链,买东西的网站都有哪些,做网站需要编程,门户网站建设经验交流此示例是 什么是极大似然估计 中的一个例子#xff0c;本文的目的是给出更加详细的方程求解步骤#xff0c;便于数学基础不好的同学理解。
目标
假设我们有一组样本数据 x 1 , x 2 , … , x n x_1, x_2, \dots, x_n x1,x2,…,xn#xff0c;它们来自一个正态分布 N…此示例是 什么是极大似然估计 中的一个例子本文的目的是给出更加详细的方程求解步骤便于数学基础不好的同学理解。
目标
假设我们有一组样本数据 x 1 , x 2 , … , x n x_1, x_2, \dots, x_n x1,x2,…,xn它们来自一个正态分布 N ( μ , σ 2 ) N(\mu, \sigma^2) N(μ,σ2)我们的目标是通过极大似然估计MLE来找到正态分布的两个参数 μ \mu μ 和 σ 2 \sigma^2 σ2。
对数似然函数
正态分布的概率密度函数为 f ( x i ∣ μ , σ 2 ) 1 2 π σ 2 exp ( − ( x i − μ ) 2 2 σ 2 ) f(x_i | \mu, \sigma^2) \frac{1}{\sqrt{2\pi\sigma^2}} \exp \left( -\frac{(x_i - \mu)^2}{2\sigma^2} \right) f(xi∣μ,σ2)2πσ2 1exp(−2σ2(xi−μ)2)
给定样本 x 1 , x 2 , … , x n x_1, x_2, \dots, x_n x1,x2,…,xn样本的似然函数为 L ( μ , σ 2 ) ∏ i 1 n 1 2 π σ 2 exp ( − ( x i − μ ) 2 2 σ 2 ) L(\mu, \sigma^2) \prod_{i1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp \left( -\frac{(x_i - \mu)^2}{2\sigma^2} \right) L(μ,σ2)i1∏n2πσ2 1exp(−2σ2(xi−μ)2)
对似然函数取对数得到对数似然函数 ℓ ( μ , σ 2 ) log L ( μ , σ 2 ) ∑ i 1 n log ( 1 2 π σ 2 exp ( − ( x i − μ ) 2 2 σ 2 ) ) \ell(\mu, \sigma^2) \log L(\mu, \sigma^2) \sum_{i1}^n \log \left( \frac{1}{\sqrt{2\pi\sigma^2}} \exp \left( -\frac{(x_i - \mu)^2}{2\sigma^2} \right) \right) ℓ(μ,σ2)logL(μ,σ2)i1∑nlog(2πσ2 1exp(−2σ2(xi−μ)2))
我们可以将对数似然函数分解为三部分 ℓ ( μ , σ 2 ) − n 2 log ( 2 π ) − n 2 log ( σ 2 ) − 1 2 σ 2 ∑ i 1 n ( x i − μ ) 2 \ell(\mu, \sigma^2) -\frac{n}{2} \log(2\pi) - \frac{n}{2} \log(\sigma^2) - \frac{1}{2\sigma^2} \sum_{i1}^n (x_i - \mu)^2 ℓ(μ,σ2)−2nlog(2π)−2nlog(σ2)−2σ21i1∑n(xi−μ)2
现在我们分别对 μ \mu μ 和 σ 2 \sigma^2 σ2 求导。 一、对 μ \mu μ 求导
首先对 μ \mu μ 求导方程中的 μ \mu μ 仅出现在最后一项 ∑ i 1 n ( x i − μ ) 2 \sum_{i1}^n (x_i - \mu)^2 ∑i1n(xi−μ)2 中因此我们只对这一项求导 ℓ ( μ , σ 2 ) − 1 2 σ 2 ∑ i 1 n ( x i − μ ) 2 \ell(\mu, \sigma^2) -\frac{1}{2\sigma^2} \sum_{i1}^n (x_i - \mu)^2 ℓ(μ,σ2)−2σ21i1∑n(xi−μ)2
对 μ \mu μ 求导 ∂ ℓ ∂ μ − 1 2 σ 2 ⋅ 2 ∑ i 1 n ( x i − μ ) ( − 1 ) \frac{\partial \ell}{\partial \mu} -\frac{1}{2\sigma^2} \cdot 2 \sum_{i1}^n (x_i - \mu) (-1) ∂μ∂ℓ−2σ21⋅2i1∑n(xi−μ)(−1)
简化后为 ∂ ℓ ∂ μ 1 σ 2 ∑ i 1 n ( x i − μ ) \frac{\partial \ell}{\partial \mu} \frac{1}{\sigma^2} \sum_{i1}^n (x_i - \mu) ∂μ∂ℓσ21i1∑n(xi−μ)
将这个导数设为 0来找到 μ \mu μ 的极大似然估计 1 σ 2 ∑ i 1 n ( x i − μ ) 0 \frac{1}{\sigma^2} \sum_{i1}^n (x_i - \mu) 0 σ21i1∑n(xi−μ)0
因为 σ 2 ≠ 0 \sigma^2 \neq 0 σ20我们可以省略 1 σ 2 \frac{1}{\sigma^2} σ21得到 ∑ i 1 n ( x i − μ ) 0 \sum_{i1}^n (x_i - \mu) 0 i1∑n(xi−μ)0
简化为 n μ ∑ i 1 n x i n\mu \sum_{i1}^n x_i nμi1∑nxi
因此 μ \mu μ 的极大似然估计为 μ ^ 1 n ∑ i 1 n x i \hat{\mu} \frac{1}{n} \sum_{i1}^n x_i μ^n1i1∑nxi
这意味着样本的均值是 μ \mu μ 的极大似然估计。 二、对 σ 2 \sigma^2 σ2 求导
接下来我们对 σ 2 \sigma^2 σ2 求导。对数似然函数中关于 σ 2 \sigma^2 σ2 的部分是 ℓ ( μ , σ 2 ) − n 2 log ( 2 π ) − n 2 log ( σ 2 ) − 1 2 σ 2 ∑ i 1 n ( x i − μ ) 2 \ell(\mu, \sigma^2) -\frac{n}{2} \log(2\pi) - \frac{n}{2} \log(\sigma^2) - \frac{1}{2\sigma^2} \sum_{i1}^n (x_i - \mu)^2 ℓ(μ,σ2)−2nlog(2π)−2nlog(σ2)−2σ21i1∑n(xi−μ)2
我们对 σ 2 \sigma^2 σ2 求导逐项进行求导 第一项 − n 2 log ( 2 π ) -\frac{n}{2} \log(2\pi) −2nlog(2π) 是常数对 σ 2 \sigma^2 σ2 求导为 0。 第二项 − n 2 log ( σ 2 ) -\frac{n}{2} \log(\sigma^2) −2nlog(σ2) 使用对数函数的求导公式 d d σ 2 ( log σ 2 ) 1 σ 2 \frac{d}{d\sigma^2} (\log \sigma^2) \frac{1}{\sigma^2} dσ2d(logσ2)σ21我们有 ∂ ∂ σ 2 ( − n 2 log ( σ 2 ) ) − n 2 σ 2 \frac{\partial}{\partial \sigma^2} \left( -\frac{n}{2} \log(\sigma^2) \right) -\frac{n}{2\sigma^2} ∂σ2∂(−2nlog(σ2))−2σ2n 第三项 − 1 2 σ 2 ∑ i 1 n ( x i − μ ) 2 -\frac{1}{2\sigma^2} \sum_{i1}^n (x_i - \mu)^2 −2σ21∑i1n(xi−μ)2 使用 d d σ 2 ( 1 σ 2 ) − 1 σ 4 \frac{d}{d\sigma^2} \left( \frac{1}{\sigma^2} \right) -\frac{1}{\sigma^4} dσ2d(σ21)−σ41我们得到 ∂ ∂ σ 2 ( − 1 2 σ 2 ∑ i 1 n ( x i − μ ) 2 ) 1 2 σ 4 ∑ i 1 n ( x i − μ ) 2 \frac{\partial}{\partial \sigma^2} \left( - \frac{1}{2\sigma^2} \sum_{i1}^n (x_i - \mu)^2 \right) \frac{1}{2\sigma^4} \sum_{i1}^n (x_i - \mu)^2 ∂σ2∂(−2σ21i1∑n(xi−μ)2)2σ41i1∑n(xi−μ)2
将各项导数结果组合
我们将对数似然函数中所有关于 σ 2 \sigma^2 σ2 的项求导结果组合起来 ∂ ℓ ∂ σ 2 − n 2 σ 2 1 2 σ 4 ∑ i 1 n ( x i − μ ) 2 \frac{\partial \ell}{\partial \sigma^2} -\frac{n}{2\sigma^2} \frac{1}{2\sigma^4} \sum_{i1}^n (x_i - \mu)^2 ∂σ2∂ℓ−2σ2n2σ41i1∑n(xi−μ)2
设置导数为 0解出 σ 2 \sigma^2 σ2
为了找到 σ 2 \sigma^2 σ2 的极大似然估计我们将导数设为 0 − n 2 σ 2 1 2 σ 4 ∑ i 1 n ( x i − μ ) 2 0 -\frac{n}{2\sigma^2} \frac{1}{2\sigma^4} \sum_{i1}^n (x_i - \mu)^2 0 −2σ2n2σ41i1∑n(xi−μ)20
1. 消去常数 1 2 \frac{1}{2} 21
为了简化方程两边同时乘以 2 消去常数 − n σ 2 1 σ 4 ∑ i 1 n ( x i − μ ) 2 0 -\frac{n}{\sigma^2} \frac{1}{\sigma^4} \sum_{i1}^n (x_i - \mu)^2 0 −σ2nσ41i1∑n(xi−μ)20
2. 将 n σ 2 \frac{n}{\sigma^2} σ2n 移到右边
将方程重排 1 σ 4 ∑ i 1 n ( x i − μ ) 2 n σ 2 \frac{1}{\sigma^4} \sum_{i1}^n (x_i - \mu)^2 \frac{n}{\sigma^2} σ41i1∑n(xi−μ)2σ2n
3. 乘以 σ 4 \sigma^4 σ4
为了消去 σ 4 \sigma^4 σ4我们将方程两边乘以 σ 4 \sigma^4 σ4 ∑ i 1 n ( x i − μ ) 2 n σ 2 \sum_{i1}^n (x_i - \mu)^2 n \sigma^2 i1∑n(xi−μ)2nσ2
4. 解出 σ 2 \sigma^2 σ2
将 σ 2 \sigma^2 σ2 留在一边解出 σ 2 1 n ∑ i 1 n ( x i − μ ) 2 \sigma^2 \frac{1}{n} \sum_{i1}^n (x_i - \mu)^2 σ2n1i1∑n(xi−μ)2
这个结果就是 σ 2 \sigma^2 σ2 的极大似然估计即样本方差公式。 总结
我们通过对正态分布的对数似然函数分别对 μ \mu μ 和 σ 2 \sigma^2 σ2 求导得到以下结论 均值 μ \mu μ 的极大似然估计 μ ^ 1 n ∑ i 1 n x i \hat{\mu} \frac{1}{n} \sum_{i1}^n x_i μ^n1i1∑nxi 即样本的均值是 μ \mu μ 的极大似然估计。 方差 σ 2 \sigma^2 σ2 的极大似然估计 σ ^ 2 1 n ∑ i 1 n ( x i − μ ^ ) 2 \hat{\sigma}^2 \frac{1}{n} \sum_{i1}^n (x_i - \hat{\mu})^2 σ^2n1i1∑n(xi−μ^)2 即样本方差是 σ 2 \sigma^2 σ2 的极大似然估计。
