level of significance

我深信你好難接受上面那位朋友的答案。因為他與你書中的答案不一樣。

這條問題是一條好難的問題﹐因為是考概念。不過幸好我們一般遇到的題目都是用Z-score便行。

這條問題不能用Z-score﹐因為np<10﹐不過上面那位連用都不用Z-score 做hypotheses testing ﹐而只是用confidence interval﹐則是錯上加錯。(另外裡面的計算亦是錯誤的。所以出到0.0827 <= P <= 0.0073)

那麼該如何做呢?這要回到type I 和 type II error
http://hk.knowledge.yahoo.com/question/question?qid=7008010203640

這個表說明了type I error 意指當H0正確卻拒絕H0。現在α=5%。所以現在的問題是。我如何才會拒絕H0而令我犯type I error的機率是5%(難就難在這裡!)

若果仔細思考的話。這其實是等價於當p=2%(H0正確)而我可以得到一個現像﹐這個現像在p=2%下其概率理應大於5%﹐但數據給出的卻少於5%﹐則我就選擇reject H0 換句話說﹐我犯錯的可能性是5%。

在這題中﹐現像是shoot 9 balls out of 200 balls
所以在H0正確下
P(＞＝9 shoots)=1-P(＜ 9 shoots)=0.021＜0.05

所以我們選擇reject H0

而因為0.021＞=0.01﹐所以我們不會reject H0 at 1% level of significance

有趣地方在於你會reject H0 at 5% but not 1%。這是因為在關於「科學的理論研究」中，type 1 error所造成的後果是比較不符合科學精神的（相較於type II error的後果），因此，必須盡量下降type 1 error。換句話說，對於「自然科學研究」，要盡量相信「這只是機率的表現而已」，也就是「盡量接受Null hypothesis」、「寧願錯失發現真理的機會，也不要創造出無中生有的理論」。

2008-03-05 18:22:44 補充：
「my teacher said the 95% level of significance means 係100次experiment中,有95次得出同樣的reslut.」

這是關於confidence intervals 中significance的解釋 (而且不太對﹐可能是你理解錯誤?)﹐但朋友你不能就這樣「搬字過紙」落hypotheses testing。

在confidence intervals 中5% level of significance 意指若依同樣的抽樣架構重覆執行抽樣，再依抽樣結果計算支持 度的95%信賴區間，在這些信賴區間中，其中的95%涵蓋母體的參數p。

2008-03-05 18:23:43 補充：
應是「計算其95%信賴區間」

2008-03-05 18:35:32 補充：
所以「100次experiment中,有95次得出同樣的reslut」問題是
1 有概率意味。但confidence intervals 不能用概率解釋。例如你計到某個候選人的支持度的confidence intervals 是29%至35%。試想某候選人的支持度雖不知，但是個定數，該定數或完全落於29%及35%間，或不落於29%及35%間，也就是說全錯或全對，絕不會有時對有時錯。
3 得出同樣的result難以理解。result是指甚麼?是不是指peter做100次「200次投籃動作」會有95次的結果是「中了9次」? 你相信嗎?

This is a question on interval estimation. First of all, for the result from one week later:
Estimator = 0.045
So at 5% significance level, the range of new rate is:
0.045 +/- 1.96√[(0.045 x 0.955)/200] = 0.045 +/- 0.0287
Or, 0.0737 <= P <= 0.0163
At 1% significance level, the range of new rate is:
0.045 +/- 2.575√[(0.045 x 0.955)/200] = 0.045 +/- 0.0377
Or, 0.0827 <= P <= 0.0073
Therefore, Peter's shooting rate may have not been improved since from the result, it can still be 2% or lower.
事實上, level of significance 的意義在於:
5%: 即是有 0.95 的機會是在抽樣的範圍 (sample range), 以此題為例, Peter's shooting rate 有 0.95 的機會在 0.0737 和 0.0163 之間.
1%: 同樣原理, Peter's shooting rate 有 0.99 的機會在 0.0827 和 0.0073 之間.