線性回歸模型偏F檢驗與t檢驗等價性的一種證明方法

盧躍奇

(洛陽師范學院 數學科學學院,河南 洛陽 471934)

1 線性回歸模型偏F檢驗與t檢驗等價性原理

經典均值線性回歸理論模型的一般形式[1]為

y=β0+β1x1+β2x2+…+βpxp+,

等價的樣本形式為

yi=β0+β1xi1+β2xi2+…+βpxip+i,

(1)

設估計參數β所需的n個訓練樣本為(xi1,xi2,…,xip;yi),i=1,2,…,n,這些樣本可表述為自變量觀測值構成的n×(p+1)設計矩陣

和因變量觀測值構成的向量Y=(y1,y2,…,yn)′,其中1n=(1,1,…,1)′表示元素全為1的n維列向量,Xj=(x1j,x2j,…,xnj)′表示變量xj在n次觀測中的取值,x′i=(1,xi1,xi2,…,xip)表示第i個樣本中所有自變量(包括截距項)的觀測值。

2 偏F檢驗與t檢驗等價性的證明

注意到

調整線性回歸模型(1)中變量的順序,把變量xj調整到第一個位置,從而模型改寫為

yi=βjxij+β0+β1xi1+β2xi2+…+βj-1xi,j-1+βj+1xi,j+1+…+βpxip+i,

(2)

由于只是改變了模型中變量的先后順序,模型本身不變,所以本質上模型(2)和原模型(1)完全等價,即參數的極大似然估計和顯著性檢驗統計量等都保持不變。模型(2)的設計矩陣仍記為X=(Xj,1n,X1,X2,…,Xj-1,Xj+1,…,Xn)=(Xj,X-j),其中X-j表示從p元線性回歸模型(2)移除變量xj后的p-1元線性回歸模型

yi=β0+β1xi1+β2xi2+…+βj-1xi,j-1+βj+1xi,j+1+…+βpxip+i

(3)

的設計矩陣。

為敘述方便,不失一般性,下面以j=1為例證明偏F檢驗與t檢驗的等價性。

X=(X1,X-1),

從而

利用分塊矩陣逆的一般表示形式(分塊矩陣的逆有很多形式,此處取其形式之一,其中要求D和A-BD-1E可逆)[3],

記H=X(X′X)-1X′,H-1=X-1(X′-1X-1)-1X′-1,分別表示模型(2)和模型(3)的帽子矩陣[4-7]。

記In表示n階單位陣,則

其中

c11=(X′1X1-X′1X-1(X′-1X-1)-1X′-1X1)-1=(X′1(In-H-1)X1)-1。

由于

故

從而

2)考慮ΔSSR1,注意到帽子矩陣H可表示為

X1c11X′1-H-1X1c11X′1-X1c11X′1H-1+H-1+H-1X1c11X′1H-1=(In-H-1)X1c11X′1(In-H-1)+H-1。

同時,注意到模型(2)的回歸平方和可以表示為

從而,模型(2)與模型(3)的回歸平方和之差ΔSSR1為

3 結束語

對經典的均值線性回歸模型中的變量進行統計顯著性檢驗,是應用線性回歸模型之前的必須步驟。為了逐個檢驗線性回歸模型中每個自變量對因變量影響程度的統計顯著性,可使用偏F統計量和t統計量進行分析,不同的統計軟件可能會使用不同的檢驗統計量進行計算,給出不同的結果,但其中給出的p值總是相同的,即本質上這兩種檢驗是等價的。本文給出的證明偏F檢驗與t檢驗等價的分塊矩陣方法,原理簡單易懂,特別適合于課堂教學和學生自學,為相應的回歸分析課程教學提供一種思路和方法。