統計假設檢驗的模糊集描述

章秋香,魏立力

(寧夏大學 數學統計學院,寧夏 銀川 750021)

假設檢驗是統計推斷的重要形式之一.最常見的應用場景是首先對待研究的總體提出一個被稱為零假設的陳述,該假設通常表示處理與對照的差異是由隨機抽樣導致的虛假差異,不是總體有真正差異;然后根據樣本數據與事先給定的顯著性水平做出拒絕或不拒絕零假設的判斷,此時稱為零假設顯著性檢驗(Null hypothesis significance test,NHST).NHST是科學研究中的主要統計工具之一,它通過將p值與預先指定的顯著性水平進行比較從而檢驗是否可以根據觀測數據拒絕或不拒絕零假設.盡管NHST在過去幾十年里受到來自多方面的批評,但仍應用至今.p值仍是NHST的最重要的標準輸出之一,其解釋和理解顯得尤為重要.NHST方法在心理學、生物醫學、社會經濟和工程技術等諸多領域都有廣泛應用,通常NHST檢驗過程都輸出一個p值來表征一個零假設的統計顯著性,p值越小,認為零假設越不可靠,說明處理和對照的差異越顯著.因此眾多科研人員將p值當作度量統計差異的“黃金準則”.然而由于假設檢驗的證偽邏輯特性,在具體應用中濫用和誤解p值的現象比較普遍.在過去的幾十年里,關于統計顯著性和檢驗p值一直受到眾多學者的批評[1-3],為此美國統計學會(American statistical association,ASA)發表了一個關于統計顯著性和p值的6項官方聲明[4],該聲明在統計學及其應用領域產生了重大影響[5].

在實際應用中,大多數研究者將p值小于0.05作為“顯著性”的依據,這種武斷的二值決策方案并未給出零假設是否成立的精細程度化描述.這是造成對NHST結果產生誤解的根源之一,為了做出科學的決策,需要對有關樣本數據與零假設的不一致性程度進行量化表示,體現基于數據的程度化思想.而模糊集的隸屬度函數可以達到這一目的,在模糊集理論的框架下對NHST的結果進行解釋,一方面為模糊集理論提供了實際背景,擴展了模糊集在統計學中的應用;另一方面給出了p值一個新的解釋.為此本文提出了統計假設檢驗法則的模糊集描述,旨在用模糊集及其截集重新刻畫假設檢驗,樹立程度化思想,契合人腦智能特征,為假設檢驗結論的理解和解釋提供一個新的視角.

1 假設檢驗的p值

通常零假設記為H0,與之對立的陳述稱為研究假設或備擇假設記為H1.對于參數假設檢驗問題而言,未知參數θ的取值范圍Θ是明確的,Θ就是參數空間,并且假設Θ可分為不相交的2部分Θ0和Θ1.H0表示假設θ∈Θ0,H1表示假設θ∈Θ1,顯然H0和H1有且只有一個正確.

由于樣本的隨機性,一個檢驗可能犯2類錯誤.當零假設為真而拒絕零假設時,就犯了第一類錯誤;當零假設不真而沒有拒絕零假設時,就犯了第二類錯誤.為了降低第一類錯誤,往往會傾向于不拒絕零假設,除非存在有力的證據證明零假設是錯誤的.對于樣本數據(證據)而言,對零假設的支持程度需要有一個度量,若樣本數據對零假設支持度很高(對備擇假設支持程度很低),則有理由接受零假設;反之,若樣本數據對零假設支持度很低(對備擇假設支持程度很高),則有理由拒絕零假設;當支持程度不高不低時,往往難以明確做出接受或拒絕零假設的決定.

通常NHST的報告結果是所謂的p值,用于樣本數據與零假設之間不一致性的度量.很多學者對p值的定義及其功能進行了研究[6-9].ASA的聲明中給出的p值非正式定義是[4],p值就是基于某個特定統計模型之下,對于樣本的某個統計匯總(如2個對照組的樣本平均值之差)與實際觀測值相等或更極端的概率.這表明p值有2個要素:樣本觀測值和假設分布.先用樣本觀測值計算檢驗統計量的值,再由假設分布計算和確定相應的p值.為此,下面引入p值函數的概念.

定義1設樣本X來自參數為θ∈Θ的總體,T(X)是一個檢驗統計量,不妨設T(X)的值越大對H0越不利,則對于樣本觀測值x,該檢驗的p值函數為

p(x,θ)=Pθ{T(X)≥T(x)}.

(1)

顯然p值函數是觀測值與參數的二元函數,它記錄了所有可能的p值.對于給定的參數,p值函數記錄了觀測數據相對于該參數的統計位置;對于給定的觀測值,它記錄了不同參數對應的分布與該觀測值的不一致性程度.p值函數為感興趣的參數提供了可視化的信息.需要注意的是,這里的p值函數不需要與特定的零假設相關聯,更不是零假設為真的概率.

2 假設檢驗的模糊集描述

2.1 模糊集和模糊關系

模糊集合是經典集合的推廣,由ZADEH創立[10],它利用隸屬度函數反映一個元素屬于集合的程度.

定義2[10]設U是論域,U到區間[0,1]的一個映射A稱為U上的一個模糊集,即

A∶U→[0,1],uA(u).

定義3[11]設U、V是2個論域,U×V上的模糊集R稱為U到V的模糊關系,即

R∶U×V→[0,1],(u,v)R(u,v).

R(u,v)表示u與v具有關系R的程度,又稱映射

是從U到V的模糊映射.

在純數學領域,模糊集合的研究不需要對隸屬函數的值進行精確的解釋,但是在應用領域,就必須考慮隸屬函數值的真實含義,否則不僅隸屬函數本身是任意的,而且得到的所有規則和結論都是不合理的[12].統計假設檢驗的模糊集描述可以看作模糊集理論的應用,所構造的隸屬度函數表示樣本值與零假設的吻合程度,并有明確的似然解釋.

2.2 檢驗的模糊集描述

(2)

稱為對應檢驗的模糊集描述.

由定義可知,pΘ0是模糊關系p(x,θ)在θ∈Θ0處截影pθ的并集,表示不同樣本值對零假設的最大信任度,是“樣本值與零假設吻合程度”的隸屬度函數,可以作為基于觀測值x對θ∈Θ0的可信程度的度量.可見,檢驗的模糊集描述體現了零假設在現有樣本值條件下是否為真的程度化思想,而且可以方便地表示經典假設檢驗的基本概念.

定理1對于給定的假設檢驗問題H0∶θ∈Θ0?H1∶θ∈Θ1和給定的0<α<1,

(3)

是水平α檢驗的拒絕域.

為了證明定理1,先引入如下結論.

引理1設F(x)是隨機變量X的累積分布函數,令Y=F(X),則對任意的0

證明對于0

P{Y≤y}=P{F(X)≤y}=P{X∈Ay}=F(xy)≤y.

當Ay=(-∞,xy)時,

對任意的δ>0,xy-δ∈Ay,因而

P{X≤xy-δ}=F(xy-δ)≤y,

所以

綜上,引理得證.

Pθ{pΘ0(X)≤α}≤α,?θ∈Θ0.

對于固定的θ∈Θ0,設Fθ(t)表示-T(X)的累積分布函數,則

p(x,θ)=Pθ{T(X)≥T(x)}=Pθ{-T(X)≤-T(x)}=Fθ(-T(x)).

于是p(X,θ)=Fθ(-T(X)),對?0<α<1,由引理1可知

Pθ{p(X,θ)≤α}=Pθ{Fθ(-T(X))≤α}≤α,

又

{pΘ0(X)≤α}?{p(X,θ)≤α},?θ∈Θ0,

因此Pθ{pΘ0(X)≤α}≤α.定理1得證.

定理2pΘ0(x)=inf{α∈[0,1]|pΘ0(x)≤α}.

定理2顯然成立,它表明pΘ0(x)為給定樣本值x時,檢驗做出拒絕零假設的最小顯著性水平.

證明由于

故(1)成立.又

故(2)成立.

定理3表明假設H0∶θ∈Θ0?H1∶θ∈Θ1的α水平檢驗的接受域等于截影pθ的α強截集的并;截影pθ的α截集的并包含于檢驗模糊集描述的α截集.

證明g(θ)=Pθ{X∈W}=Pθ{T(X)≥T(x)}=p(x,θ)=px(θ).

推論對于拒絕域為W={T(X)≥T(x0)}的檢驗,犯第一類錯誤的概率為α(θ)=px(θ),θ∈Θ0;犯第二類錯誤的概率為β(θ)=1-px(θ),θ∈Θ1.

2.3 數值計算

例1假設總體X服從伯努利分布,參數為θ,X1,X2,…,X20是來自該總體的20個樣本,考慮如下假設檢驗問題,

H0∶θ≤0.3?H1∶θ>0.3.

pΘ0(t)表示觀測值t對零假設的支持程度.特別是,當觀測值為0時,對零假設為真的隸屬度為1,完全可以接受零假設;當觀測值為4時,樣本對零假設的支持程度為0.8929;當觀測值為10時,樣本對零假設的接受程度只有0.048,對零假設為真的隸屬度為0.048,非隸屬度為0.952,因此可以不認為零假設為真;當觀測值大于等于14時,隸屬度接近零,完全可以拒絕零假設.根據隸屬度函數pΘ0的表達式及以上分析結果可知,觀測值越大,對零假設為真的隸屬度越小,越能拒絕零假設.圖1是這一結論的直觀表示.

圖1 例1中模糊集描述的隸屬度函數

表1 例1中顯著性水平、檢驗的拒絕域及其最小顯著性水平

例2設X1,X2,…,X36是來自正態分布N(θ,3.62)的樣本,考慮如下假設檢驗問題,

H0∶θ=68?H1∶θ≠68.

圖2 例2中模糊集描述的隸屬度函數

與例1相同,該隸屬度函數pΘ0(t)的α強截集的補集可以解釋為給定顯著性水平α條件下檢驗的拒絕域.由于pΘ0(t)是連續函數,因此其截集與截水平一一對應,此時顯著性水平與檢驗的拒絕域也是一一對應的關系.因此最小顯著性水平就是拒絕域所對應截集的截水平.特別是,當α=0.05時,由定理2可知拒絕域為

該拒絕域有唯一的顯著性水平0.05.

以上例子是單樣本的離散和連續情形,下面考慮雙樣本檢驗.

H0∶μ1-μ2≥0?H1∶μ1-μ2<0.

其中t(n+m-2)是自由度為n+m-2的t分布隨機變量.

圖3 例3中模糊集描述的隸屬度函數

與例2相同,由于pΘ0(t)的截集與截水平一一對應,此時顯著性水平與檢驗的拒絕域也是一一對應的關系.特別是,當α=0.05時,由定理2知拒絕域為

該拒絕域有唯一的顯著性水平0.05.

3 結語

本文將p值函數作為樣本觀測值到參數空間的模糊關系,以模糊關系的投影構造了樣本空間上的模糊集,描述了樣本值對零假設的隸屬度,定量刻畫了樣本觀測值對零假設的支持程度.在模糊集的框架中,強截集的補集表示檢驗的拒絕域,截集的水平就是檢驗的顯著性水平,這為模糊集的隸屬度函數提供了似然解釋.最后單樣本的離散和連續情形和雙樣本假設檢驗問題的例子說明了本文方法的有效性.