公務員招錄中材料型結構化面試的信效度研究

● 張弘 李雨萌

?

公務員招錄中材料型結構化面試的信效度研究

● 張弘 李雨萌

內容摘要本文運用實驗研究方法來探討我國公務員招錄中所采用的材料型結構化面試的信度與效度。研究發現，傳統型結構化面試與材料型結構化面試都具有較好的考官間信度，但在應變能力的測評上表現出顯著的差異，且會導致招錄結果的不同。相對于傳統型結構化面試，材料型結構化面試能夠明顯地提升對溝通能力的測評效標效度，但在應變能力測評上的效標效度難以令人接受。傳統型結構化面試和材料型結構化面試的結構效度都不理想。

關 鍵 詞公務員招錄 材料型結構化面試 信度與效度

張弘（通訊作者），西南政法大學管理學院，副教授，管理學博士，電子郵箱：zh_nju@sina.com。

李雨萌，西南政法大學管理學院，碩士研究生。

本文受教育部人文社會科學規劃基金“中國情境下雇傭保障影響企業績效的作用機制：跨層次研究”（11YJA630191）資助。

一、研究背景與問題提出

結構化面試是我國國家公務員招錄中一種非常重要的測評手段，主要用于考察考生是否具有從事行政管理工作所需要的一些素質，如綜合分析能力、計劃組織能力、溝通說服能力等（王世潮、韓飛麟，2014）。盡管結構化面試有行為描述型結構化面試和情景型結構化面試兩種不同的形式，但出于對公正和程序一致性的考慮，公務員招錄面試中實際所采用的多為情景型結構化面試。即，用簡短的語言給應試考生描繪出一個具體的情境——多為未來工作中可能會遇到的情景，然后詢問應試考生“在這種情況下，你會怎么去做？”。由于公務員招錄中需要測評應試考生的多個素質，而情景型結構化面試一般需要針對所要測評的各個素質，分別給出一個具體的情境。于是，公務員招錄中的情景型結構化面試一般由4-5個問題構成——每個問題有其獨立的情境，并對應著測評一個特定的素質（顧利群，2011）。

隨著公務員報考熱的持續升溫，針對公務員招錄面試的培訓得到了迅猛發展。大大小小的培訓機構延攬各式各樣的人才，對我國公務員招錄面試的測評要素、面試題本、觀察要點、打分標準等進行深入的研究，進而形成所謂的應試策略或技巧——如針對某一測評要素的萬能答案——并傳授給考生。這就逼迫我國國家公務員招錄部門必須在測評工具和面試技術上不斷地進行創新。近年來，我國國家公務員招錄中出現了一種新型的情景型結構化面試，其不同之處在于使用了材料文本，即在面試之前會給應試考生發放一份閱讀材料，該閱讀材料一般為考生提供一個事件的梗概。面試則以該事件為基礎，選擇其中的4-5個具體情境，同樣是詢問應試考生“在這種情況下，你會怎么去做？”。為便于區別，本文將這種新型的情景型結構化面試稱為材料型結構化面試，與之相對應的過去公務員招錄中所慣常使用的情景型結構化面試則稱為傳統型結構化面試。

在公務員招錄中，材料型結構化面試一經推出，便受到了報考公務員的考生和公務員招錄面試考官的普遍好評——考生們認為材料型結構化面試讓面試問題的答案有了落腳點，從而更容易準備，更有話可說；考官們認為材料型結構化面試讓面試問題的答案不再五花八門，從而更容易判別和評分。然而，材料型結構化面試與傳統型結構化面試相比，其應用于公務員招錄中的信度和效度究竟如何呢？文獻檢索結果卻顯示出，很少有學者關注到這些問題，更談不上給出嚴謹且科學的答案了。我們認為，無論是從檢驗材料型結構化面試這一技術創新的有效性出發，還是從更好地應用和進一步地開發材料型結構化面試這一新技術出發，都非常有必要對材料型結構化面試的信度與效度進行研究。

二、研究方法與實驗設計

本文采用實驗法來探討材料型結構化面試的信度和效度問題，具體研究思路是：借助于結構化面試信度和效度研究的成熟理論與方法（郭慶科等，2014；田效勛等，2009；徐長江等，2013；Macan，2009），分別使用傳統型結構化面試題本和材料型結構化面試題本，以實驗方式獲取兩種結構化面試的相關數據，以360度評價結果作為面試效度判定的效標，通過對實驗數據的統計分析，來比較傳統型結構化面試與材料型結構化面試的信度和效度。

為此，本研究設計并實施了一個包含兩輪模擬面試的實驗，具體情況如下：

1. 面試考官與面試對象

首先，在西南政法大學管理學院人力資源管理方向的教師和研究生中遴選出11人，經培訓后組成本次面試實驗的考官組。其次，在西南政法大學管理學院的工商管理、市場營銷、勞動關系、會計學和審計學等5個專業的大學三年級學生中公開招募10名面試對象，招募條件為：（1）有報考公務員的意愿；（2）對參加面試實驗有興趣并能夠保證時間投入。

2. 面試題本

為保證面試實驗的科學性，本研究所使用的面試題本盡可能為真實的公務員招錄結構化面試題本。其中，材料型結構化面試題本直接選用了我國公務員招錄所使用過的真實題本；傳統型結構化面試的題本則是根據材料型結構化面試題本考察的能力要素，由多個我國公務員招錄所使用過的真實題本拼接而成。對于所使用的這兩個題本，請參與國家公務員招錄的3名資深面試考官對其難度進行評估，結論是兩個題本的難度相當。

除去閱讀材料，傳統型結構化面試題本和材料型結構化面試題本都由4個問題組成，每個問題后附有觀察要點提示和評分參考，對應地考察面試對象的綜合分析能力、溝通能力、應變能力和服務意識等4個能力要素。

3. 面試實驗實施

面試實驗于2015年11月14日在西南政法大學管理學院實施，第一輪進行的是傳統型結構化面試，第二輪為材料型結構化面試。

面試實驗設置了面試等待室、面試室和面試休息室。每輪面試前，所有面試對象被集中于面試等待室，并通過抽簽確定該輪面試的順序。其后，面試對象按抽簽順序進入面試室接受面試，并在面試結束后進入面試休息室，直至該輪面試實驗結束——即所有面試對象完成該輪面試。

整個面試過程仿真公務員招錄面試過程：首先，面試對象進入面試室并落座后，由主考官宣讀標準化的面試指導語——“你好！祝賀你進入面試。今天的面試，我們會問你4個問題，面試的時間為15分鐘。在回答每個問題前，你可以先考慮一下。沒有聽清楚的問題，可以要求我再說一遍。請注意把握好時間，不要緊張。好，現在開始?！逼浯?，由主考官向面試對象宣讀第一道面試考題，待面試對象確認回答完畢后，再依次向面試對象宣讀下一道面試考題，直至完成全部4道題的面試或用完15分鐘的面試時間。第三，在面試室安排了專職的計時員，計時員在主考官宣讀第一道面試題起開始計時，在面試用完12分鐘時進行最后3分鐘提醒，在面試用完15分鐘時宣布終止面試。第四，11名面試考官（包括主考官）根據面試對象的回答，并結合面試題本中每個問題后附有的觀察要點和評價參考，獨立地就面試所測試的4種能力要素給面試對象進行打分，每一種能力要素的最高分為25分。第五，在面試室安排了專職的計分員和監督員，負責對11名考官的打分進行登錄和統計，面試對象各項能力要素得分和總得分的計算采用簡單平均法。第六，在進行第二輪材料型結構化面試時，面試等待室的工作人員會在面試前30分鐘，向面試對象發放材料文本，并要求其在指定位置上獨自閱讀。需要指出的是，因研究需要，在第二輪材料型結構化面試中，前5名面試對象只能在面試等待室閱讀材料文本，而后5名面試對象不僅可以在面試等待室中閱讀材料文本，還被允許將材料文本帶入面試室并在面試過程中可以翻看。

4. 360度評價

本研究邀請36名熟悉面試對象的老師、輔導員以及其他同學作為評價者，每9名評價者對10名面試對象的1種能力要素（如綜合分析能力）進行評價，評價采用交替排序法。將9名評價者所給出的排序按數值進行加總后再排序，得到10名面試對象在該能力要素上的最終評價結果（見表1）。以該評價結果作為兩種結構化面試效度判定的效標。

表1　 360度評價結果

三、數據與分析

（一）傳統型結構化面試與材料型結構化面試實驗的結果數據分析

分別采用傳統型結構化面試和材料型結構化面試的實驗結果見表2和表3。

為確認傳統型結構化面試與材料型結構化面試的結果是否存在顯著性差異，本研究分別對兩次面試所測評的各能力要素得分和最終的總得分進行非參數檢驗——兩個相關樣本檢驗（Test for two related samples），結果見表4。

表2　 傳統型結構化面試的結果數據

由表4可知，分別采用傳統型結構化面試與材料型結構化面試，在測評考生的綜合分析能力、溝通能力和服務意識的得分上沒有出現顯著的差異，但在測評考生的應變能力的得分上出現了顯著的差異，且在應變能力測評上的顯著差異最終導致了在總得分上出現了顯著的差異。

就公務員招錄而言，更為重要的是面試對象在面試中的成績排名，而不是成績本身。因此，本研究從招錄實際出發，根據上述面試結果，分別以1∶3和1∶2的比例錄用面試對象，從中可以發現，傳統型結構化面試和材料型結構化面試都能夠對考生進行有效的區分和甄選，但隨著錄用比例的減?。◤?0%減小至33%），兩種面試方式最終所錄用的人員會有差異。因此，在考慮選用傳統型結構化面試方式或材料型結構化面試方式時，還需要注意錄用比例。

表3　 材料型結構化面試的結果數據

表4　 各能力要素與總得分的兩個相關樣本檢驗

表5　 傳統型結構化面試和材料型結構化面試的結果排序

以采用傳統型結構化面試和材料型結構化面試的得分排序差異大于2為出現較大差異，進一步分析所考察的各能力要素的得分排序狀況（見表5），從中可以發現，在對傳統型結構化面試方式和材料型結構化面試方式的適應上，不同的考生存在著差異，且這種差異較為平均地表現在對各能力要素的測評上。

需要指出的是，出現了較大差異的5名面試對象中，有4名面試對象屬于未允許將閱讀材料帶入面試室的，僅有1名面試對象屬于允許將閱讀材料帶入面試室的。而在所出現的12次較大差異中，有11次屬于未允許將閱讀材料帶入面試室的，僅有1次屬于允許將閱讀材料帶入面試室的。這一結果表明，允許將閱讀材料帶入面試室，能夠有效地幫助考生適應材料型結構化面試方式。

（二）材料型結構化面試的考官間信度

本研究使用Kendall和諧系數來計算考官間信度，結果見表6。從這一結果來看，首先，所考察各能力要素的Kendall和諧系數都在0.001的水平上顯著，表明無論是傳統型結構化面試，還是材料型結構化面試，考官們對考生的各項能力要素均有著比較一致的評價；其次，對于綜合分析能力和應變能力而言，傳統型結構化面試的考官間信度要高于材料型結構化面試的考官間信度；對于溝通能力和服務意識而言，材料型結構化面試的考官間信度則要高于傳統型結構化面的考官間信度。

由于在材料型結構化面試中，未允許將閱讀材料帶入面試過程的面試對象與允許將閱讀材料帶入面試過程的面試對象并不相同，因此，本研究僅僅以將閱讀材料帶入面試過程的面試對象為例，使用Kendall和諧系數來計算考官間信度，結果見表7。與表6相比較可以看出，隨著閱讀材料被允許帶入面試，考官間的信度水平明顯提高。

表6　 傳統型結構化面試與材料型結構化面試的考官間信度

表7　 傳統型結構化面試與帶入閱讀材料的材料型結構化面試的考官間信度

（三）材料型結構化面試的效標效度分析

以360度評價結果為效標，來檢驗傳統型結構化面試和材料型結構化面試的效標效度，結果見表8。

從表8中可以看出，采用傳統型結構化面試時，對綜合分析能力、應變能力和服務意識的測評都具有較好的效標效度，僅對溝通能力測評的效標效度不太理想；而采用材料型結構化面試時，對綜合分析能力、溝通能力和服務意識的測評具有較好的效標效度，但對應變能力測評的效標效度則非常的低。

表8　 傳統型結構化面試與材料型結構化面試的效標效度

（四）材料型結構化面試的結構效度分析

通過傳統型結構化面試與材料型結構化面試所測評能力要素的相關分析和探索性因子分析來探討兩種面試方式的結構效度，結果見表9。

首先，無論是采用傳統型結構化面試，還是采用材料型結構化面試，探索性因子分析的結果都顯示，大于1的特征根只有一個。所存在的差異是：傳統型結構化面試中，這個特征根單獨解釋的變異為56.224%，而材料型結構化面試中，這個特征根單獨解釋的變異為62.110%。這一結果顯示，無論是傳統型結構化面試，還是材料型結構化面試，表面上所測評的是綜合分析能力、溝通能力、應變能力和服務意識等四個能力要素，而實質上測評的則很可能是藏在這四個能力要素背后的某一個未知的要素。

表9　 兩種面試方式的各測評要素的相關系數和因子負荷

其次，相關分析結果顯示，采用傳統型結構化面試時，各測評要素間的相關系數均沒有達到顯著水平；而采用材料型結構化面試時，應變能力與溝通能力（p=0.039）、服務意識（p=0.037）均顯著相關。這一結果表明，采用材料型結構化面試時，應變能力與溝通能力、服務意識之間的區分效度是比較低的。

四、實驗研究的結論與討論

首先，就面試結果而言，傳統型結構化面試與材料型結構化面試在考生綜合分析能力、溝通能力、服務意識的測評上都沒有表現出顯著的差異；但在考生應變能力的測評上表現出了顯著的差異，且這一顯著差異最終導致在考生的總得分上也出現了顯著的差異。這意味著，當涉及到應變能力這一素質的測量時，采用傳統型結構化面試或者材料型結構化面試，最終招錄的結果會有顯著性的差異。

實驗研究中發現，當招錄比例較大時，采用傳統型結構化面試和采用材料型結構化面試所產生的測評差異，對最終招錄結果的影響稍弱；但當招錄比例較小時，采用傳統型結構化面試和采用材料型結構化面試所產生的測評差異，對最終招錄結果的影響則相當明顯。

實驗研究中還發現，當允許考生將閱讀材料帶入面試室時，采用傳統型結構化面試和采用材料型結構化面試的結果間差異趨于減小。這一發現提醒我們，材料型結構化面試可能還在測評考生的記憶能力。

其次，就信度而言，傳統型結構化面試和材料型結構化面試都具有相對較好的考官間信度。即不論是采用傳統型結構化面試，還是采用材料型結構化面試，考官們在評分上均表現出了顯著的一致性。但不可忽視的是，傳統型結構化面試與材料型結構化面試之間考官間信度又的確存在著一定的差異——相對而言，在考生的總得分和對考生溝通能力、服務意識的測評上，采用材料型結構化面試的考官間信度要高于采用傳統型結構化面試的考官間信度；而在對于綜合分析能力和應變能力的測評，采用傳統型結構化面試的考官間信度要高于采用材料型結構化面試的考官間信度。這一結果再次提醒我們，針對需要測評的不同能力要素，傳統型結構化面試和材料型結構化面試可能各有所長。

實驗研究中還發現，在材料型結構化面試中，隨著閱讀材料被允許帶入面試室，考官間的信度明顯地得到了提升。

第三，效標效度研究顯示，相對于傳統型結構化面試，材料型結構化面試明顯地提升了對溝通能力測評的效標效度，但在應變能力測量的效標效度上則是難以令人接受的。我們認為，造成這一結果的原因在于：面試所設置情境的具體性對測評不同能力要素的影響是不同的。既然面試是設置一個情境，并詢問考生在這一情境下會如何行動，來判斷考生是否具有某種能力。那么，情境與考生的行動之間必然具有某種聯系。撇開情境的具體內容，單獨考慮情境的具體化程度——即對于同一內容，情境是詳細的、豐富的，還是概括的、籠統的？——對考生行動的影響，即對考生在這一情境下回答“你會怎么辦？”的影響。我們認為，情境具體化的影響是：行動更加具體化。這種行動的具體化，從一方面來看，是行動更具有針對性；而從另一方面來看，則是行動更具有統一性。顯然，這種行動的具體化在展示不同能力要素時的作用是不一樣的，如對于展示溝通能力來說，情境的具體導致行動的具體，從而表現出“溝通具有針對性”，更接近溝通能力的定義——準確地理解他人，清晰地表達自我，有效地影響他人。而對于展示應變能力來說，情境的具體導致行動的具體，從而表現出“行動是該情境下的合理的、甚至是唯一的選擇”，這就更遠離應變能力的定義——在有壓力的情境下，思考、解決問題時能夠迅速而靈活地轉移角度、隨機應變、觸類旁通，做出正確的判斷和處理。

第四，結構效度的研究顯示，無論傳統型結構化面試，還是材料型結構化面試，表面上測評的是綜合分析能力、溝通能力、應變能力、服務意識等4項能力要素，但實質上測評的則很可能是藏在這4項能力要素背后的某一個未知的能力要素，且這一狀況在采用材料型結構化面試時更為明顯。我們認為，除前述的考生記憶能力可能隱藏于材料型結構化面試之中，考生的閱讀理解能力也會影響到材料型結構化面試的結果。這一研究結論提醒我們，選用材料型結構化面試需要精心地選擇和編寫閱讀材料，除情景性面試出題需要考慮的因素（如公正性等）之外，特別需要注意排除兩個干擾因素。其一，閱讀材料必須是通俗易懂的，具有一定閱讀與理解能力的考生都能夠有效地領會其中的含義，從而排除考生在閱讀與理解能力上的差異對面試可能造成的影響；其二，閱讀材料必須是簡單易記的，篇幅不能過長，人物不要過多，事件不能過于復雜，最好不要出現多個數據，從而排除考生在記憶能力上差異對面試可能造成的影響。

從應用的角度來看，本研究的結論不僅對公務員招錄的結構化面試能提供有意義的指導，而且也可給企業的招聘面試實踐帶來一些幫助。首先，公務員招錄考試被譽為“中國第一考”，在全國各類考試中具有重大的影響，其采用的考試方法和形式會有一定的示范效應?，F實中，的確存在著一些企業在人員甄選和錄用中模仿公務員招錄的方法和程序。因此，對于那些準備在人員甄選和錄用中嘗試使用材料型結構化面試的企業來說，本研究的結論可以幫助它們做出正確的決策。其次，由于大學應屆畢業生一直生活在“象牙塔”中，相對缺乏工作經驗和社會閱歷，因而企業在校園招聘中常常采用情景型結構化面試。即使企業所采用的是傳統型結構化面試，而不是本文所討論的材料型結構化面試，但本研究所探討的問題——情境具體化程度對面試信效度的影響——依然是存在的。根據本研究的結論，即使是在使用傳統型結構化面試時，企業也需要在面試試題的設計上做出正確選擇，如在測量溝通能力時增強面試情境的具體性，而在測量應變能力時降低面試情境的具體性，從而提高面試的效度，保證企業能夠選聘到優秀的人才。

參考文獻

1. 顧利群：《公務員選拔結構化面試研究》，載《產業與科技論壇》，2011年第2期，第199-202頁。

2. 郭慶科、張愛芹：《情景性面試和行為描述性面試的效度對比》，載《心理技術與應用》，2014年第6期，第24-30頁。

3. 田效勛、車宏生：《面試預測效度和構想效度研究述評》，載《心理科學進展》，2009年第4期，第870-876頁。

4. 王世潮、韓飛麟：《公務員錄用考試管理實踐與理論研究》，中國人事出版社，2014年版，第12頁。

5. 徐長江、梁崇理、劉爭光：《結構化面試預測效度的貢獻成分分析》，載《心理科學進展》，2013年第5期，第940-950頁。

6. Macan T. The Employment Interview： A Review of Current Studies and Directions for Future Research， Human Resource Management Review， 2009， 19（3）：203-218.

■責編/宋萌 Tel：010-88383907 E-mail： songmenghrd@163.com

Study on Reliability and Validity of Material-type Structured Interview in Civil Service Recruitment

Zhang Hong and Li Yumeng
（School of Management， Southwest University of Political Science and Law）

Abstract：In this paper， the experimental research method is used to explore the reliability and validity of material-type structured interview in civil service recruitment. The study found， the inter examiner reliability of traditional-type structured interview and material-type structured interview are very well. But there are significant differences between the traditional-type structured interview and materialtype structured interview that used to assess the response ability， and these differences of assessment will lead to different results of recruiting. Compared with the traditionaltype structured interview， the criterion validity of material-type structured interview is better in assessing the communication ability， and is worse in assessing the response ability. The structure validity of both structured interview are unsatisfactory.

Key Words：Civil service Recruitment； Material-type Structured Interview； Reliability and Validity