高端企业网站建设公司,手机端的网页,在线玩小游戏网页版,wordpress固定链接设置后404文章目录假设检验假设检验的基本原理提出假设作出决策表述决策结果一个总体参数的检验总体均值的检验总体比例的检验总体方差的检验两个总体参数的检验两个总体均值之差的检验两个总体比例之差的检验两个总体方差比的检验总体分布的检验正态性检验的图示法Shapiro-Wilk 和 K-S …
文章目录假设检验假设检验的基本原理提出假设作出决策表述决策结果一个总体参数的检验总体均值的检验总体比例的检验总体方差的检验两个总体参数的检验两个总体均值之差的检验两个总体比例之差的检验两个总体方差比的检验总体分布的检验正态性检验的图示法Shapiro-Wilk 和 K-S 正态性检验总结假设检验
假设检验的基本原理
提出假设
假设检验先对总体提出某种假设例如对总参数提出一个假设值然后利用样本信息判断这一假设是否成立 原假设也称零假设通常是研究者想搜集证据予以推翻的假设记为H0H_{0}H0 原假设表达的含义是指参数没有变化、变量之间没有联系或总体分布与一理论分布并无差异所以常有。设参数的假设值为μ0\mu_{0}μ0原假设常写成 H0:μμ0;H0:μ≥μ0;H0:μ≤μ0H_{0}:\,\mu\mu_{0};\,H_{0}:\,\mu\geq\mu_{0};\,H_{0}:\,\mu\leq\mu_{0}H0:μμ0;H0:μ≥μ0;H0:μ≤μ0 。原假设最初被假设是成立的之后根据样本数据确定是否有足够的证据拒绝原假设。 备则假设通常是研究者想搜集证据予以支持的假设记为H1H_{1}H1或HaH_{a}Ha备则假设表达的含义是指参数有变化、变量之间有联系或总体分布与一理论分布有差异。因此备则假设常写成 H1:μ̸μ0;H1:μμ0;H1:μμ0H_{1}:\mu\not\mu_{0};\,H_{1}:\,\mu\mu_{0};\,H_{1}:\,\mu\mu_{0}H1:μμ0;H1:μμ0;H1:μμ0。备则假设通常用于表达研究者自己倾向于支持的看法然后就是想办法收集证据拒绝原假设支持备则假设。
双侧检验也称双尾检验指没有特定方向性的备则假设含有符号̸\not单侧检验也称单尾检验指有特定方向性的备则假设含有符号右侧检验或左侧检验 备则假设就是我们为什么要检验的理由例如我们检验一个车间生产的零件是否符合标准我们肯定是认为它不符合标准才需要检验要是我们认为它标准的话就没必要检验了。因此原假设是符合标准备择假设是不符合标准
作出决策
两类错误
第 I 类错误也称为 α\alphaα 错误原假设是正确的却拒绝了原假设概率记为 α\alphaα第 II 类错误也称为 β\betaβ 错误原假设是错误的却没有拒绝了原假设概率记为 β\betaβ
在样本量一定的情况下α\alphaα 与 β\betaβ 是负相关的要是 α\alphaα 和 β\betaβ 同时减小只能增大样本量。
显著性水平即 α\alphaα通常是人们事先指定的犯第一类错误的概率的最大允许值一般情况下人们认为第一类错误的后果更严重因此会取一个较小的 α\alphaα 值实际中常用 α0.01\alpha0.01α0.01 α0.05\alpha0.05α0.05 和 α0.1\alpha0.1α0.1
① 用统计量决策首先要根据样本观测结果计算对原假设作出决策的检验统计量。例如要检验总体均值则可以对样本均值标准化标准化检验统计量然后根据实现确定好的显著性水平 α\alphaα 划定拒绝域 标准化检验统计量点估计−假设值点估计量的标准差标准化检验统计量\frac{点估计-假设值}{点估计量的标准差} 标准化检验统计量点估计量的标准差点估计−假设值 决策准则
双侧检验|统计量|临界值拒绝原假设左侧检验统计量的值-临界值拒绝原假设右侧检验统计量的值临界值拒绝原假设
② 用 PPP 值决策如果原假设是正确的所得到的样本结果会像实际观测结果那么极端或者更极端的概率称为 PPP 值 也称观察到的显著性水平。 决策准则
如果 PαP\lt\alphaPα 则拒绝 H0H_0H0如果 PαP\alphaPα 则不拒绝 H0H_0H0
注意
PPP 值是关于数据的概率与原假设对错的概率无关PPP 值反映的是某个总体的所有样本中某一类数据出现的经常程度。就是说当原假设是正确时PPP 值就是得到目前这个样本的概率。
书上解释的跟屎一样比如我们要检验全小学生月平均生活支出是否为 200020002000 元H0:μ2000H_0:\,\mu2000H0:μ2000 我们统计出来 Xˉ1750\bar{X}1750Xˉ1750 P0.02P0.02P0.02α0.05\alpha0.05α0.05 说明如果平均支出真的是 200020002000 的话那么我们抽到 175017501750 的概率只有 0.020.020.02太小了所以可以拒绝原假设
PPP 值不一定要和显著性水平 α\alphaα 进行比较我们可以认为 PPP 值越小拒绝原假设的理由就越充分一般要求 PPP 不大于 0.10.10.1PPP 值决策优于统计量决策PPP 值其实是实际上犯 I 类错误的概率。
表述决策结果
假设检验不能证明原假设正确“不拒绝”不代表“接受”接受 H0H_0H0 的风险由 β\betaβ 衡量拒绝原假设时称样本结果在“统计上是显著的”“显著的”意思是“非偶然的”但统计上显著不等于有实际意义
一个总体参数的检验
总体均值的检验
大样本的检验样本均值经标准化后可认为服从标准正态分布因而采用正态分布的检验统计量
当总体方差 σ2\sigma^2σ2 已知时总体均值检验统计量为
ZXˉ−μ0σ/nZ\frac{\bar{X}-\mu_0}{\sigma/\sqrt{n}} Zσ/nXˉ−μ0
当总体方差 σ2\sigma^2σ2 未知时可以用样本方差 S2S^2S2 代替得到总体均值检验统计量为
ZXˉ−μ0S/nZ\frac{\bar{X}-\mu_0}{S/\sqrt{n}} ZS/nXˉ−μ0
小样本的检验
当总体方差 σ2\sigma^2σ2 已知时即使是在小样本的情况下样本均值经标准化后仍然服从标准正态分布总体均值检验统计量为
ZXˉ−μ0σ/nZ\frac{\bar{X}-\mu_0}{\sigma/\sqrt{n}}\ Zσ/nXˉ−μ0
当总体方差未知时检验统计量满足 t 分布自由度为 n−1n-1n−1 通常称为 t 检验
tXˉ−μ0S/nt\frac{\bar{X}-\mu_0}{S/\sqrt{n}} tS/nXˉ−μ0
总体比例的检验
大样本的检验样本比例经过标准化后近似服从标准正态分布因此总体比例检验统计量为π0\pi_0π0 可以是我们猜测的比例 Zp−π0π0(1−π0)nZ\frac{p-\pi_0}{\sqrt{\frac{\pi_0(1-\pi_0)}{n}}} Znπ0(1−π0)p−π0
总体方差的检验
总体方差的检验不论样本量 nnn 是大是小都要求总体服从正态分布。总体方差检验统计量为σ0\sigma_0σ0 可以是我们猜测的方差 χ2(n−1)S2σ02\chi^2\frac{(n-1)S^2}{\sigma_0^2} χ2σ02(n−1)S2 χ2\chi^2χ2 自由度为 n−1n-1n−1 由于是不对称分布因此我们采取等尾区间 两个总体参数的检验
两个总体均值之差的检验
常用于比如比较两个相似环境下产生的结果是否相同取 H0:(μ1−μ2)0H_0:\,(\mu_1-\mu_2)0H0:(μ1−μ2)0
独立大样本的检验两样本均值之差经标准化后满足正态分布(μ1−μ2)(\mu_1-\mu_2)(μ1−μ2) 为我们猜测的样本均值之差的值
当总体方差 σ12\sigma_1^2σ12 和 σ22\sigma_2^2σ22 已知时总体均值检验统计量为
Z(X1ˉ−X2ˉ)−(μ1−μ2)σ12n1σ22n2Z\frac{(\bar{X_1}-\bar{X_2})-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1}\frac{\sigma_2^2}{n_2}}} Zn1σ12n2σ22(X1ˉ−X2ˉ)−(μ1−μ2)
当总体方差 σ12\sigma_1^2σ12 和 σ22\sigma_2^2σ22 已知时分别使用样本方差 S12S_1^2S12 和 S22S_2^2S22 代替总体均值检验统计量为
Z(X1ˉ−X2ˉ)−(μ1−μ2)S12n1S22n2Z\frac{(\bar{X_1}-\bar{X_2})-(\mu_1-\mu_2)}{\sqrt{\frac{S_1^2}{n_1}\frac{S_2^2}{n_2}}} Zn1S12n2S22(X1ˉ−X2ˉ)−(μ1−μ2)
独立小样本的检验
当总体方差 σ12\sigma_1^2σ12 和 σ22\sigma_2^2σ22 已知时样本均值之差经标准化后仍然服从标准正态分布总体均值之差检验统计量为
Z(X1ˉ−X2ˉ)−(μ1−μ2)σ12n1σ22n2Z\frac{(\bar{X_1}-\bar{X_2})-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1}\frac{\sigma_2^2}{n_2}}} Zn1σ12n2σ22(X1ˉ−X2ˉ)−(μ1−μ2)
当总体方差 σ12\sigma_1^2σ12 和 σ22\sigma_2^2σ22 未知但 σ22σ22\sigma_2^2\sigma_2^2σ22σ22 时需要将两个样本数据组合在一起组合后的样本方差 SpS_pSp 为
Sp(n1−1)S12(n2−1)S22n1n2−2S_p\frac{(n_1-1)S_1^2(n_2-1)S_2^2}{n_1n_2-2} Spn1n2−2(n1−1)S12(n2−1)S22
样本均值之差标准化后符合自由度为 n1n2−2n_1n_2-2n1n2−2 的 t 分布检验统计量为 t(X1ˉ−X2ˉ)−(μ1−μ2)Sp1n11n2t\frac{(\bar{X_1}-\bar{X_2})-(\mu_1-\mu_2)}{S_p\sqrt{\frac{1}{n_1}\frac{1}{n_2}}} tSpn11n21(X1ˉ−X2ˉ)−(μ1−μ2)
当总体方差 σ12\sigma_1^2σ12 和 σ22\sigma_2^2σ22 未知且 σ22̸σ22\sigma_2^2\not\sigma_2^2σ22σ22 时样本均值之差标准化后近似服从自由度为 vvv 的 t 分布检验统计量为
t(X1ˉ−X2ˉ)−(μ1−μ2)S12n1S22n2t\frac{(\bar{X_1}-\bar{X_2})-(\mu_1-\mu_2)}{\sqrt{\frac{S_1^2}{n_1}\frac{S_2^2}{n_2}}} tn1S12n2S22(X1ˉ−X2ˉ)−(μ1−μ2)
其中 vvv 为需要四舍五入求整数 v(S12n1S22n2)2(S12n1)2n1−1(S22n2)2n2−1v\frac{(\frac{S_1^2}{n_1}\frac{S_2^2}{n_2})^2}{\frac{(\frac{S_1^2}{n_1})^2}{n_1-1}\frac{(\frac{S_2^2}{n_2})^2}{n_2-1}} vn1−1(n1S12)2n2−1(n2S22)2(n1S12n2S22)2 配对样本的检验配对样本的检验需要假定两个总体配对差值构成的总体服从正态分布且配对差是从差值总体中随机抽取的。对于小样本情形配对差值经标准化后服从自由度为 n−1n-1n−1 的 t 分布因此选择的检验统计量为 tdˉ−(μ1−μ2)Sd/nt\frac{\bar{d}-(\mu_1-\mu_2)}{S_d/\sqrt{n}} tSd/ndˉ−(μ1−μ2) 其中 dˉ\bar{d}dˉ 为配对差值的平均数SdS_dSd 为配对差值的标准差
两个总体比例之差的检验
独立大样本要求两个样本都是大样本即 n1p1n_1p_1n1p1 n1(1−p1)n_1(1-p_1)n1(1−p1) n2p2n_2p_2n2p2 和 n2(1−p2)n_2(1-p_2)n2(1−p2) 都大于等于 101010 。根据两个样本比例之差的标准化的抽样分布可以得到总体比例之差检验统计量为 Z(p1−p2)−(π1−π2)σp1−p2Z\frac{(p_1-p_2)-(\pi_1-\pi_2)}{\sigma_{p_1-p_2}} Zσp1−p2(p1−p2)−(π1−π2) 其中 σp1−p2π1(1−π1)n1π2(1−π2)n2\sigma_{p_1-p_2}\sqrt{\frac{\pi_1(1-\pi_1)}{n_1}\frac{\pi_2(1-\pi_2)}{n_2}}σp1−p2n1π1(1−π1)n2π2(1−π2) 是两个样本比例之差抽样分布的标准差。但是你发现 π1\pi_1π1 和 π2\pi_2π2 事先都是不知道的分为两种情况
检验两个总体比例是否相等即 H0:π1−π20H_0:\,\pi_1-\pi_20H0:π1−π20 H1:π2−π2̸0H_1:\,\pi_2-\pi_2\not0H1:π2−π20 此时 π1\pi_1π1 和 π2\pi_2π2 的最佳估计是将两个样本合并后得到的比例为
pp1n1p2n2n1n2p\frac{p_1n_1p_2n_2}{n_1n_2} pn1n2p1n1p2n2
此时 σπ1−π2\sigma_{\pi_1-\pi_2}σπ1−π2 的最佳估计量为 σπ1−π2p(1−p)(1n11n2)\sigma_{\pi_1-\pi_2}\sqrt{p(1-p)(\frac{1}{n_1}\frac{1}{n_2})} σπ1−π2p(1−p)(n11n21) 代入得到两个总体比例之差的检验统计量为 Zp1−p2p(1−p)(1n11n2)Z\frac{p_1-p_2}{\sqrt{p(1-p)(\frac{1}{n_1}\frac{1}{n_2})}} Zp(1−p)(n11n21)p1−p2
检验两个总体比例之差是否是个常数即 H0:π1−π2d0H_0:\,\pi_1-\pi_2d_0H0:π1−π2d0 H1:π2−π2̸d0H_1:\,\pi_2-\pi_2\notd_0H1:π2−π2d0 这时可直接用两个样本的比例 p1p_1p1 和 p2p_2p2 作为两个总体比例 π1\pi_1π1 和 π2\pi_2π2 的估计从而得到两个总体比例之差的检验统计量为
Z(p1−p2)−d0p1(1−p1)n1p2(1−p2)n2Z\frac{(p_1-p_2)-d_0}{\sqrt{\frac{p_1(1-p_1)}{n_1}\frac{p_2(1-p_2)}{n_2}}} Zn1p1(1−p1)n2p2(1−p2)(p1−p2)−d0
也有可能是这样H0:π1−π2≥0H_0:\,\pi_1-\pi_2\ge 0H0:π1−π2≥0 H1:π1−π20H_1:\,\pi_1-\pi_20H1:π1−π20 或者 H0:π1−π2≤0H_0:\,\pi_1-\pi_2\le 0H0:π1−π2≤0 H1:π1−π20H_1:\,\pi_1-\pi_20H1:π1−π20 都当作第一种来处理要注意等号总是在原假设里
两个总体方差比的检验
对总体方差比的假设通常是跟 111 相比就是看两个总体谁的方差更大一些。由于两个样本方差之比 S12S22\frac{S_1^2}{S_2^2}S22S12 是两个总体方差之比 σ12σ22\frac{\sigma_1^2}{\sigma_2^2}σ22σ12 的理想估计量故检验统计量为符合 F(n1,n2)F(n_1,\,n_2)F(n1,n2) 分布 FS12S22F\frac{S_1^2}{S_2^2} FS22S12 双侧检验通常是用较大的样本方差除以较小的样本方差这样拒绝域总是发生在 F 分布的右侧。在左侧检验时也可以安排为右侧检验。
总体分布的检验
总体正态性检验根据样本数据检验总体上是否服从正态分布检验方法有图示法和检验法。
正态性检验的图示法
正态概率图有两种
Q−QQ-QQ−Q 图根据观测值的实际分位数与理论分布如正态分布的分位数绘制的P−PP-PP−P 图根据观测数据的累积概率与理论分布如正态分布的符合程度绘制的 图中直线表示理论正态分布线各观测点越靠近直线且呈随机分布表明数据越接近正态分布。 实际使用时并不一定要参考理论正态分布线只要所有点都在一条直线的周围随机分布即可 由于正态概率图中的点很少提供的正态性信息有限适用于大样本量
Shapiro-Wilk 和 K-S 正态性检验
当样本量较小时可以使用标准的统计检验办法即假设总体服从正态分布如果检验获得的 PPP 值小于显著性水平 α\alphaα 则拒绝原假设。
Shapiro-Wilk 方法适用于小样本H0H_0H0 总体服从正态分布H1H_1H1 总体不服从正态分布然后计算检验统计量 WWW W∑aiyi2∑(yi−yˉ)2W\frac{\sum a_iy_i^2}{\sum(y_i-\bar{y})^2} W∑(yi−yˉ)2∑aiyi2
yiy_iyi 为排序后的样本数据yˉ\bar{y}yˉ 是样本均值aia_iai 时样本量为 nnn 所对应的系数通过
[a1,⋯,an]mTV−1∣∣V−1m∣∣\begin{bmatrix}a_1,\cdots,a_n\end{bmatrix}\frac{m^{T}V^{-1}}{||V^{-1}m||} [a1,⋯,an]∣∣V−1m∣∣mTV−1
VVV 是这些有序统计量的协方差m[m1,⋯,mn]m\begin{bmatrix}m_1,\cdots,m_n\end{bmatrix}m[m1,⋯,mn] 其中 mim_imi 是从一个标准的正态分布随机变量上采样的有序独立同分布的统计量的期望值
WWW 的最大值是 111 最小值是 na12n1\frac{na_1^2}{n1}n1na12 统计量越大表示越符合正态分布。当然非正态分布的小样本数据也有可能有较大的 WWW 值而且由于该统计量的分布是未知的因此需要通过模拟或者查表来估计概率。
Kolmogorov-Smirnov 检验既适合大样本又适合小样本而且不止可以检验正态分布。将实际频数和期望频数进行比较检验其拟合程度。具体来说是将某一变量的积累分布函数与特定的分布函数进行比较。设总体的积累分布函数为 F(x)F(x)F(x) 已知理论分布函数为 F0(x)F_0(x)F0(x) 则 H0:F(x)F0(x);H1:F(x)̸F0(x);H_0:\,F(x)F_0(x);\quad H_1:\,F(x)\notF_0(x); H0:F(x)F0(x);H1:F(x)F0(x); 各样本观察值的实际累计概率为 S(x)S(x)S(x) 实际累计概率与理论累计概率的差值为 D(x)D(x)D(x) 差值序列中最大的绝对差值 Dmax(∣S(xi)−F(xi)∣)Dmax(|S(x_i)-F(x_i)|) Dmax(∣S(xi)−F(xi)∣) 实际累计概率肯定是离散值因此可以修正为 Dmax((∣S(xi)−F(xi)∣),(∣S(xi−1)−F(xi)∣))Dmax((|S(x_i)-F(x_i)|),\,(|S(x_{i-1})-F(x_i)|)) Dmax((∣S(xi)−F(xi)∣),(∣S(xi−1)−F(xi)∣)) 在小样本情况下统计量 DDD 服从 Kolmogorov 分布在大样本情况下则用正态分布近似统计量为 ZnDZ\sqrt{n}D ZnD 如果原假设成立则每次抽样得到的 DDD 值应当不会偏离 000 太远。
K-S要求样本数据是连续的数值型数据且要求理论分布已知。总体均值和方差未知时也可以用 Xˉ\bar{X}Xˉ 和 S2S^2S2 代替。
总结
#mermaid-svg-KI6E1NyZdswvuKV7 {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-KI6E1NyZdswvuKV7 .error-icon{fill:#552222;}#mermaid-svg-KI6E1NyZdswvuKV7 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-KI6E1NyZdswvuKV7 .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-KI6E1NyZdswvuKV7 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-KI6E1NyZdswvuKV7 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-KI6E1NyZdswvuKV7 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-KI6E1NyZdswvuKV7 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-KI6E1NyZdswvuKV7 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-KI6E1NyZdswvuKV7 .marker.cross{stroke:#333333;}#mermaid-svg-KI6E1NyZdswvuKV7 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-KI6E1NyZdswvuKV7 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-KI6E1NyZdswvuKV7 .cluster-label text{fill:#333;}#mermaid-svg-KI6E1NyZdswvuKV7 .cluster-label span{color:#333;}#mermaid-svg-KI6E1NyZdswvuKV7 .label text,#mermaid-svg-KI6E1NyZdswvuKV7 span{fill:#333;color:#333;}#mermaid-svg-KI6E1NyZdswvuKV7 .node rect,#mermaid-svg-KI6E1NyZdswvuKV7 .node circle,#mermaid-svg-KI6E1NyZdswvuKV7 .node ellipse,#mermaid-svg-KI6E1NyZdswvuKV7 .node polygon,#mermaid-svg-KI6E1NyZdswvuKV7 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-KI6E1NyZdswvuKV7 .node .label{text-align:center;}#mermaid-svg-KI6E1NyZdswvuKV7 .node.clickable{cursor:pointer;}#mermaid-svg-KI6E1NyZdswvuKV7 .arrowheadPath{fill:#333333;}#mermaid-svg-KI6E1NyZdswvuKV7 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-KI6E1NyZdswvuKV7 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-KI6E1NyZdswvuKV7 .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-KI6E1NyZdswvuKV7 .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-KI6E1NyZdswvuKV7 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-KI6E1NyZdswvuKV7 .cluster text{fill:#333;}#mermaid-svg-KI6E1NyZdswvuKV7 .cluster span{color:#333;}#mermaid-svg-KI6E1NyZdswvuKV7 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-KI6E1NyZdswvuKV7 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}假设检验的内容框架总体均值总体比例总体方差总体分布一个总体均值两个总体均值差大样本正态分布小样本正态分布总体方差已知正态分布正态分布总体方差未知t分布独立大样本正态分布独立小样本两个正态总体方差已知正态分布两个正态总体方差未知t分布配对样本t分布一个总体比例两个总体比例差大样本正态分布任意大小样本大样本正态分布任意大小样本一个总体方差正态总体卡方分布两个总体方差比两正态总体F分布图示方法Q-Q图或P-P图检验方法Shapiro-Wilk检验K-S检验
