P值
P值是原假设(零假设)H0为真的前提下,观察到的异常数据出现的概率。
如果P值很小,意味着原假设为真的情况下,取出能拒绝原假设数据的概率极低,此时取出了一个数据和原假设不符,说明了该组数据存在问题,因此就有理由证明原假设为伪。
在假设检验中,证明备择假设H1存在困难,我们去证明它的反面假设原假设H0,P值指的是当H0为真,极端值出现的概率。如果P值很小,说明此种情况发生的概率很小,如果出现了,根据小概率时间原理,有理由拒绝原假设,P值越小,拒绝原假设的理由越充分。
P值是H0能被拒绝的最小值,α是H0能被拒绝的上限控制值
1、双侧检验的P值
若P值≥α/2,不拒绝原假设H0
若P值≤α/2,拒绝原假设H0
2、单侧检验的P值
若P值≥α,不拒绝原假设H0
若P值<α,拒绝原假设H0
因为P值很小的情况下,取出来的异常值的概率就越小,因此P值越小的情况下,此时取出了异常值,这是P值越小拒绝原假设H0的理由就越充分。
P值需要多小才能拒绝原假设呢?
1、假如说原假设是人们之前对某件事情非常笃定(根据以往经验都是这样),这时就需要小的P值;
2、如果拒绝原假设的成本很高,这是就需要较小的P值。
如果给出了P值就不用再过多的关注α了,显著性水平由你自己定,你觉得多大显著就显著,通常P≯0.1,因此α通常取0.1、0.01、0.05,如果P值落在不同地方显著性水平不同,落在临界值附近,和落在临界值很远的地方(需要思考了为什么差别会折磨大)
(1)是数据的概念,与原假设的对与错是无关的。
(2)确定多大的P值有充分的理由拒绝原假设
(3)P值决策优于统计量决策
双侧检验与单侧检验
双侧检验
原假设H0 μ = μ0;备择假设H1:μ≠μ0
1)拒绝域在统计分布的两侧,有两个拒绝域,两个临界值,每个拒绝域的面积为α/2;
2)只要μ>μ0或μ<μ0二者之中有一个成立,就可以拒绝原假设。
利用P值做决策如果P<α,拒绝原假设反之不拒绝原假设
单侧检验
1)拒绝域在统计分布的一侧,有一个拒绝域,一个临界值,拒绝域的面积为α。
一个总体参数的推断
Z分布
Z分布也称标准正态分布,是正态分布的一种特殊形式,特点如下:
均值为0,表示数据以0为对称中心;标准差为1,数据围绕0上下波动;对称性,完全对称;面积和概率,Z分布曲线下,整个面积等于1,任何区域内曲线下的面积代表,该区域内随机变量的取值概率。
标准化公式:(总体均值-样本均值)/样本标准差
用于单个数据点的标准化
用法:单个观测值距离总体均值有多少个标准差,描述单个数据点相对于整体数据集的位置。
X~N(0,1)表示随机变量X服从均值为0,标准差为1的正态分布
假设检验中:
样本均值分布比单个观测点的分布要紧密,所以使用s/sqrt(n)是标准误差,考虑了样本大小对估计的影响。
用于样本均值的标准化
用法:确定样本均值与总体均值之间的差异是否在统计上显著。
α=0.05, 就是标准正态分布中使得曲线下从负无穷大到点的面积为 0.975 的点。在标准正态分布表中,这个值大约是 1.96。=≈1.96(从中间区域查出0.975对应的点的横纵坐标值)
例:区间估计:该工厂销售部收到36位顾客组成的随机样本,得到每位投保人的年龄数据如下:
试建立投保人的平均年龄的90%的置信区间。
解:已知n=36,1-α=90%的α=0.1,=(到0.95点横坐标)=1.645,由于总体方差未知,但为大样本,可用样本方差代替总体方差。
,
得:顾客平均年龄的90%置信区间为26.6~29.7。
例:区间估计:一家工厂生产奶粉为主,工厂质检部为了检验每罐奶粉重量是否符合要求,现从某天生产的一批食品中随机抽取了25罐,测得每罐重量如下表所示。已知奶粉重量的分布服从正态分布,且总体标准差为10g。试估计该批产品平均重量的置信区间,置信水平为95%。
解:已知=10,n=25,置信水平=95%, = 1.96
该批奶粉平均重量95%的置信区间为101.44~109.28克。
案例二、某电池厂去年生产的电池质量标准为平均使用寿命1020小时。该厂宣布今年生产的电池寿命相比于去年大大提高。现在从最近生产的一批电池中随机抽取100块电池,测得样本平均寿命为1080小时,标准差300小时。试在0.05显著性水平下判断这批电池的使用寿命是否有明显提高。
解:
H0:μ < 1020没有显著差别
H1:μ ≥ 1020有显著差别
由题意可知,μ0=1020,n=100,barX=1080。虽然σ未知,但是n≥30可以使用样本标准差s=300,用Z统计量。
检验统计量:Z=(barX-μ0)/(s/根号n)=(1080-1020)/(3000/根号100)=2.0 Zα=1.645
决策:在α=0.05的水平上拒绝原假设
结论:有证据表名今年生产的电池寿命有显著性提高。
假设检验案例
案例一:成都某豆瓣厂,一条流水线上加工出来的豆瓣每罐的重量服从正态分布,其总计均值μ0=500g,总体标准差为σ=5g。今换一条新流水线加工,抽取n=200罐豆瓣酱进行检验,得到的重量均为499g.试问新流水线的豆瓣酱的重量均值与以前有无显著差异(α=0.05)。
解:在此题中,我们所关心的是新流水线加工的豆瓣酱的重量均值与老流水线加工的豆瓣酱的重量均值500g是否有不同,可以假设
H0:μ = 500g,没有显著性差别
H1:μ <> 500g,有显著性差别
这是一个双侧检验问题所以只要μ>μ0或μ<μ0二者中有一个成立,就可以拒绝原假设。
由题意可知,μ0=500g,s=5g,barX=499g,因为n>30选用Z统计量。
检验统计量:Z=(样本均值-总体均值)/(总体标准差/根号样本容量)
Z=-2.83概率为0.023*2 = 0.046(因为是双侧检验)
其中0.046小于0.05因此推翻原假设
结论:有证据证明新流水线加工的豆瓣酱的重量与老流水线加工的豆瓣酱的重量有显著性差别。
T分布
t统计量:当样本量较小(例如小于30)或总体标准差未知时,t检验是非常有用的。它允许我们通过比较样本均值与总体均值来判断两者是否有显著性差异。
计算公式:
t分布表
t统计量与z统计量之间关系:
定义与使用情形
- z统计量适用于当总体方差已知且/或样本量较大(一般N≥30)时,用于进行假设检验。标准正态分布(z分布)是基于无限大的样本量,其形状完全已知。
- t统计量适用于当总体方差未知且样本量较小(N<30)时。t分布考虑了由于样本量较小而产生的不确定性,其形状依赖于自由度(与样本量相关),自由度越大,t分布越趋近于正态分布。
分布
- z统计量遵循标准正态分布。
- t统计量遵循t分布。随着自由度的增加(即样本量接近或大于30),t分布形状越来越接近标准正态分布。
临界值
- 在使用z统计量时,临界值(如Zα/2)从标准正态分布表中查找。
- 在使用t统计量时,临界值从t分布表中查找,且这个值依赖于特定的自由度。
联系
- 主要联系是它们都用于确定样本统计量与假设总体参数之间是否存在显著性差异。
- 当样本量较大时(N≥30),由于中心极限定理,样本均值的分布趋向正态分布,这时t统计量可代为z统计量进行测试,因为二者在大样本下的结果相近。
自由度:比如说给定四个数,他们的均值是10,前三个数据随便取值,最后一个数就固定了(不得不取某个值来维持总体均值为10)【如前三个:11,12,13;最后一个数就固定死了为4】