政策文獻量化研究中的PMC指數模型應用述評

方思越 劉清

關鍵詞：政策文獻量化：PMC指數模型：計量分析：綜述

當前，政府治理現代化不斷推進，政府信息公開制度已逐步完善。同時，伴隨著統計學、計量學、數據可視化等學科和方法的不斷發展，以政策文獻為研究對象的公共政策研究有了更為廣闊的發展空間，政策文獻量化研究這一分析視角也獲得了更多的關注。政策文獻量化研究將語言表述的非結構化的政策文本轉化為使用數量表示的資料，并使用統計數字描述分析的結果，在研究的過程中克服質化政策研究中的主觀性和不確定性，從而得到相對直觀和精確的政策認知。

近年來，政策文獻量化研究蓬勃發展，使用的方法也更加多元，典型的研究方法有政策計量分析、政策內容量化和政策文本挖掘3個類別，而政策內容量化的主要類型又包括基于政策文本描述性量化分析結果，再使用PMC指數對政策進行績效評價。PMC指數模型（Policy Modelling Consistency）由MarioArturo Ruiz Estrada（下文簡稱Estrada）于2011年提出。該模型被引入國內后在政策文獻量化研究中得到了較為充分的應用，但具體應用情況仍未明晰，同時也未見對該模型本土化應用上的系統梳理。鑒于此，本文對目前國內使用PMC指數模型的研究進行梳理，計量分析當前研究現狀，整理出PMC指數模型的一般流程，討論使用過程中存在的問題并給出相應的建議，以期為PMC指數模型后續的實踐提供一定的借鑒。

1研究設計

1.1研究問題

梳理政策文獻量化研究中的PMC指數模型應用研究，首先需要厘清研究問題。Estrada提出的PMC指數模型用于評判政策建模的一致性。政策建模是通過使用不同的理論、模型和技術對任意政策進行分析評估的學術或實踐工作，其本身即可被理解為一種對政策的評價工作。PMC指數模型的提出基于“Omnia Mobilis”假說，即“一切都在運動中”，在政策建模中不應忽略任何相關變量。然而，當PMC指數模型被引入國內后，卻多被用于政策文獻的評價之中。從政策建模的評價到政策文獻的評價，這種本土化應用是本研究的主要關注點。由此衍生出本研究主要討論的3個問題：①國內PMC指數模型應用現狀如何？②國內學者是如何使用PMC指數模型的？③如何更合理地應用PMC指數模型？

1.2數據來源與處理

本研究的目標文獻是應用了PMC指數模型的期刊文獻，選取的數據庫為中國知網數據庫和維普中文期刊服務平臺。本研究制定的文獻選擇階段和標準為：①文獻檢索。根據研究主題，PMC指數模型在應用上與“政策”這一關鍵詞息息相關，且“PMC”暫無代稱，因此使用“政策”與“PMC”的組合作為檢索詞進行學術期刊文獻檢索，設定檢索字段為篇關摘，出版年度結束年為2022年；②文獻去重。剔除重復文獻；③文獻篩選。此階段主要判斷文獻是否完整地使用了PMC指數模型。對標題和摘要進行瀏覽，剔除與政策文獻量化研究無關的內容，如省直管縣（Province Manage Country，PMC）和項目管理承包模式（Project ManagementContracting．PMC）等的研究；對正文進行瀏覽，剔除沒有描述PMC指數模型應用全過程的文獻。最終，本研究確定的目標文獻為169篇。

1.3研究方法

研究主要采用計量分析的方法。針對問題①，對目標文獻的發布時間、刊載期刊、作者信息和關鍵詞進行統計分析，得到國內PMC指數模型應用的發文趨勢、期刊分布、主要作者、機構和主要研究主題；針對問題②，對目標文獻進行深入閱讀，結合原PMC指數模型，提煉出本土化應用的一般流程，再對流程每一階段進行描述分析；在問題①和問題②的基礎上，對問題③展開討論，給出更合理使用PMC指數模型的建議。

2研究結果分析

2.1目標文獻統計分析

2.1.1發文趨勢

對目標文獻進行發文趨勢統計，如圖1所示。201 1年，Estrada設計PMC指數模型，2015年國內首次將該方法引入。發文量呈逐年增長趨勢，2015-2022年，發文量從1篇增長到169篇?？梢?，PMC指數模型在國內正越來越多地被應用。

2.1.2期刊分布

對目標文獻來源進行統計，如圖2所示。目標文獻分布于113本不同的期刊上，收錄量為5篇及以上的期刊分別為《中國科技論壇》《科技進步與對策》《情報雜志》《軟科學》《統計與決策》和《科技管理研究》，總占比21.89%。其余期刊的收錄量均在5篇以下，有88本期刊只發了1篇相關文獻，說明應用了PMC指數模型的期刊文獻分布較為分散。

參考數據庫中的專輯名稱、專題名稱和期刊描述對期刊進行分類統計，如圖3所示。有100篇文獻分布在55本管理科學類的期刊上，占總文獻量的57.17%，有31篇文獻分布在26本大學學報上，20篇文獻分布在13本醫藥衛生科技類的期刊上，另外，在教育學、體育學、信息科學等領域的期刊上也都有應用了PMC指數模型的文獻。在不同類別期刊上的分布說明應用了PMC指數模型的文獻多分布于管理科學類的期刊上，且在其他學科領域也獲得了一定的認可。

2.1.3作者信息

對作者的發文次數進行統計，共有411位不同的作者。發文量排名前3的作者分別為張永安教授（北京工業大學經濟與管理學院，8篇），杜寶貴教授（東北大學文法學院，4篇）和褚淑貞教授（中國藥科大學國家藥物政策與醫藥產業經濟研究中心，4篇）。其中，張永安教授是首位將PMC指數模型引入國內的學者。

對第一作者的相關信息進行統計，共有145名不同的第一作者，發文量排名前5的作者分別為張永安教授（北京工業大學經濟與管理學院，8篇），杜寶貴教授（東北大學文法學院，4篇），周海煒教授（河海大學商學院，3篇），沈俊鑫教授（昆明理工大學管理與經濟學院，3篇）和劉紀達博士（哈爾濱工業大學經濟與管理學院，3篇）。對這些作者所屬的機構進行統計，共涉及101個不同的機構。其中，有8名不同的作者來自北京工業大學的經濟與管理學院，涉及16篇目標文獻；6名不同的作者來自河海大學（5名來自商學院，1名來自公共管理學院），涉及9篇目標文獻；6名不同的作者來自中國藥科大學，涉及6篇目標文獻。通過對作者信息的統計可以發現，以張永安教授為代表的北京工業大學經濟與管理學院在PMC指數模型的應用上有較多經驗，作者的分布相對分散。

2.1.4研究主題

對目標文獻的關鍵詞進行統計，排名前3的研究主題如表1所示。研究主題中，“政策量化評價”的出現頻次位列第一，與“PMC指數模型”不相上下，但與“文本內容分析”這一主題拉開了較大差距。研究主題的排序印證了PMC指數模型多應用于政策文獻量化研究，尤其是政策量化評價中，且部分研究還應用了其他文本內容分析的方法。

通過對關鍵詞的統計還可以發現，這些文獻選取的政策來自不同的領域，按照《國民經濟行業分類》（GB/T4754-2017）將目標文獻涉及的政策內容進行劃分，并映射到經濟、政治、文化、社會、生態文明五大建設中。排名前3的政策領域如表2所示，分別為公共管理、社會保障和社會組織，科學研究和技術服務業以及租賃和制造業。五大建設中的分布如圖4所示，相關研究分析的政策在這五大建設中均有涉獵，其中最多的是有關經濟建設的政策。

2.2目標文獻PMC指數模型應用分析

Estrada提出的PMC指數模型分為6個步驟：①構建多投入一產出表；②確認變量和具體參數；③PMC指數計算：④構建政策建模的一致性評價標準：⑤繪制PMC曲面圖：⑥根據評價標準分析政策建模的優劣勢。而通過對目標文獻的梳理，可得國內學者應用該模型時主要分為政策文本搜集與預處理、指標體系構建、PMC指數計算、PMC曲面圖繪制和政策綜合分析5個步驟，如圖5所示。

2.2.1政策文本搜集與預處理

在政策文本搜集與預處理部分，學者們依據需要分析的主題設計關鍵詞，在專業政策數據庫（北大法寶、北大法意、白鹿智庫等）和相關政府網站上搜集政策文本。根據文本的相關性和有效性篩選出研究需要的政策文獻，并挖掘文本內容。部分學者使用ROST數據分析軟件和（或）Python編程語言輔助識別政策文本高頻關鍵詞和主題，部分學者根據編碼提取政策文本的要點，這些關鍵詞、主題和要點是構建PMC指標體系的重要依據。

2.2.2指標體系構建

使用PMC指數模型的第一步是設計多投入一產出表。多投入產出表在Estrada的設計中是一種量化單個政策建模文本的數據分析框架，由10個一級變量和50個二級變量構成，如表3所示。國內學者在沿用的過程中保留了含兩級變量的指標體系，并根據待分析的政策文本調整各級變量的數目和內容。

對目標文獻構建的指標體系進行分析。169篇目標文獻中有98篇構建了10個一級變量．65篇構建了9個一級變量，各有兩篇文獻構建了13個和16個一級變量，各有1篇文獻構建了7個和8個一級變量。構建的二級變量數量最少為25個，最多為77個，為40個二級變量的文獻數量最多。出現頻次前10的一級變量和相應的二級變量示例如表4所示。

這10個一級變量分別為政策性質、政策時效、政策評價、政策領域、政策公開、政策功能、政策視角、政策內容、政策工具和發布機構。在相應的二級變量設計上：①政策性質。二級變量除了示例中的預測、監管、建議、描述、引導之外還有診斷、導向、判定、倡議、支持、穩定、規范、試行等；②政策時效。二級變量中的長期、中期、短期主要有兩種時長劃分方式：一是將長期劃分為10年以上，中期5～10年，短期1～5年；二是將長期劃分為5年以上，中期3～5年，短期1～3年；③政策評價。二級變量的設計是研究者對政策文本的主觀判讀，除了示例中的依據充分、目標明確、方案科學、符合國情之外還有鼓勵創新、規劃翔實等；④政策領域。二級變量主要為政治、經濟、社會、環境、科技；⑤政策公開。一般沒有設置二級變量，主要用于判斷政策文本是否公開；⑥政策功能。二級變量描述政策期望實現的功能，依據預處理時得到的關鍵詞、主題和要點確定；⑦政策視角。二級變量主要有宏觀、中觀和微觀，也有學者直接用宏觀和微觀；⑧政策內容。二級變量描述政策包含的內容，依據預處理時得到的關鍵詞、主題和要點確定；⑨政策工具。二級指標列舉政策使用的工具，描述粒度上因研究而異，示例中直接將政策工具劃分為供給型、環境型和需求型，粒度較粗，部分研究直接使用下位層次的具體工具作為二級變量，如財政投入、基礎設施建設、人才培育等；⑩發布機構。二級變量列舉指發布政策的機構性質，不同研究在該變量的設計和表達上也有所不同。

2.2.3PMC指數計算

在構建了指標體系后，需要對變量進行計算。一般地，指標體系中一級變量的取值范圍為[0，1]，二級變量的取值為0或1，也有部分研究規定了具體變量的取值。根據式（1）將每一項政策的一級變量的分值進行加總，即得到相應政策的PMC指數。假設一項研究中有10個一級變量，且變量取值范圍為[0，1]，則其最高分為10，最低分為0。

另有學者改進了PMC指數計算的方法，提出PMC-AE指數，即利用神經網絡中的自編碼技術對多參數進行融合，對政策進行打分。PMC-AE指數的計算減少了人工賦值的主觀性，但計算過程相對復雜。

目標文獻中，有的研究會計算所有搜集到的政策文本的PMC指數，而有的研究則根據一定的標準選取部分政策文本進行計算。

2.2.4PMC曲面繪制

繪制PMC曲面圖，是為了直觀地展示各項被研究的政策在各個變量上的分值o PMC曲面繪制有兩種形式：一是繪制單一政策的三維曲面圖：二是將多個政策進行橫向對比繪制雷達圖。在繪制單一政策的曲面圖時，將政策樣本中的各個一級變量得分轉化為矩陣形式，再進行繪制，如圖6所示，假設某一政策有9個一級變量，取值分別為1.0、0.2、0.6、0.2、0.5、0、0.1、0.9、0.8，被轉化為三維矩陣形式。

在繪制雷達圖時，依據為政策個數和其相應的一級變量的分值，示例如圖7所示（圖示分值為隨機生成），假設研究涉及3項不同的政策P1、P2、P3，共有9個一級指標體系。雷達圖直觀展示了P1、P2、P3在X1～9指標上的分值和凹陷程度。

2.2.5政策綜合分析

通過政策綜合分析，得出政策優化建議。目標文獻中，有156篇文獻沿用了Estrada劃分PMC指數值等級的做法，按照PMC指數值等級對相對應的政策進行評價。Estrada將PMC指數值劃分為4個不同的等級：分值在9～10為完美一致性，7～8.99為優秀一致性，5～6.99為可接受一致性，0～4.99為低一致性。國內學者沿用時，部分直接采取這一等級劃分，也將政策分為完美（優秀）、優秀（良好）、可接受、不良（不及格）4個等級；部分研究則自定義等級劃分，如參考百分制標準將分值劃分為完美、優秀、良好、不良4個等級，亦有學者劃分為不良、可接受（合格）、良好、優秀、完美5個等級。由于Estrada設計了10個一級變量，對于一級變量數量并非10的研究，等級評判的分值應當作出相應的改變，如對于設計了9個一級變量的研究，完美、優秀、可接受、不良4個層級的取值可能分別為[7，9]、[5，7）、[3，5）、[0，3） ]或[8，9]、[6，7）、[4，6）、[ 0，4）]等。沒有劃分政策等級的研究則直接根據PMC指數值進行分析。

在具體的分析過程中，如果研究只計算了某單一政策的PMC指數，則在給出優化建議的過程中依據其一級變量的分值給出對應的方案。舉例而言，計算后發現政策P1在X4（政策領域）和X6（政策功能）上的評分較低，則可以聚焦到政策領域和政策功能的二級變量上尋找評分較低的原因，提出改進方案。如果研究計算了多項政策的PMC指數，一般會對這些政策進行分值排序，再進行單一政策的重點分析。

此外，部分目標文獻并未將PMC指數模型作為主要研究內容，而是服務于整體的分析框架。最為典型的是“政策主體一政策工具一政策效力”三維分析框架。其中政策主體是依照法定權限和程序頒布相關政策文件的機構或組織：政策工具是為落實某項政策采取的相關措施或手段：政策效力是政策文本的內容效力和影響力。政策主體的識別可以通過政策文獻的結構要素直接獲?。赫吖ぞ咧饕劳蠷othewell的政策工具理論，將政策文本單位化后進行編碼，劃分為環境面、供給面和需求面3類政策工具：政策效力使用PMC指數進行衡量。使用三維分析框架在進行政策綜合分析時關注政策主體維度上各政策主體之間的協同程度，政策工具維度上3類政策工具的占比和各自的優化點，以及政策效力維度上政策的PMC指數值分析結果。

3研究討論及結論建議

PMC指數模型在國內的應用自2015年興起，穩步發展至今，已經成為政策文獻量化研究中的重要研究方法之一。通過研究結果分析可以得知：

1）PMC指數模型在國內越來越多地被應用，且應用的學科領域較為廣泛，作者分布也較為分散。以張永安教授為代表的北京工業大學經濟與管理學院在PMC指數模型的應用上有較多的經驗，其研究內容可作為初學者的重要參考。

2）通過統計分析，可知PMC指數模型的主要研究主題為“政策量化評價”。通過應用分析，可知在政策綜合分析這一步驟中，目標文獻中有156篇文章（占比92%）對計算得到的PMC指數值進行了等級劃分，進一步印證了PMC指數模型在國內主要被應用于政策評價。

3）國內在PMC指數模型應用的過程中，政策文本搜集與預處理是基礎，指標體系構建是核心，PMC指數計算實現量化，PMC曲面圖繪制實現可視化，政策綜合分析是PMC指數模型應用的最終目的。與原模型相比，指標體系更加多樣化、指數計算存在改進算法、曲面圖繪制新增雷達圖。

通過對研究結果的進一步審視，有以下3個問題值得討論：

1）使用PMC指數模型進行政策評價是否合理。首先，PMC指數模型的原設計是對政策建模的評價，政策建模不應該忽略任何變量。政策建模是通過使用不同的理論、模型和技術對任意政策進行分析評估的學術或實踐工作。在Estrada的設計中，作者通過計算發現政策建模文章在應用研究類型、研究方向、數據源、應用的計量經濟學方法、研究領域、研究理論框架、按部門劃分的政策建模、經濟學框架在政策建模中的應用、地理分析和論文引用這10個一級變量上的一致性。首先，如果一份政策建模的研究的PMC指數值高，則說明該政策建模研究在變量考慮上較為全面，一致性高，因此較優。但政策建模并不等于政策，故國內將PMC指數模型方法移植到政策評價上的合理性值得探討。其次，相關研究表明，政策評價有廣義和狹義之分。對政策系統及政策過程進行綜合的、全方位的考察與分析，并給予評價、判斷和總結的功能活動是廣義層面上的評價。作為系統觀念的政策評估，包括作為評估者的評估主體、作為評估客體的公共政策、作為外部條件的評估環境，以及政策評估過程與方法體系等諸多組成要素，對政策系統及政策過程某個或若干個要素及環節的評估是狹義層面的評價。鑒于此，從狹義層面去理解PMC指數模型在政策評價中的作用是可以被接受的，因為政策文本被視為是對客觀事實的全面描述與建構，具有確定性和完盡性。而如果使用PMC指數模型直接判斷政策的優劣，容易造成廣義層面上的誤解。最后，政策文本的注意力也并不能完全通過PMC指數模型體現，目標文獻中，指標體系中的變量一般為不含情感的短語，如“科技供給”，而非“提高科技供給”或“降低科技供給”。因此，一項政策在某一級變量上的分值高只說明該政策在這一變量上有所描述，在某一變量上的分值低只說明該政策在這一變量上描述不足，而該政策是否需要在低分值變量部分施以更多的關注度，則需要回歸政策文本，由原文決定。綜上，筆者認為使用PMC指數模型進行政策評價是一種僅落在政策文本上的狹義評價，這種評價方式主要用于評價政策的完盡性。

2）怎樣構建更加科學的指標體系。指標體系構建是PMC指數模型應用的核心，通過對目標文獻的梳理發現，指標體系的科學性有待提高。在目標文獻中，部分指標的設計可操作性不強，如“政策評價”，二級指標的設計和評價都顯得主觀：部分指標的設計獨立性不夠，如一級變量為“政策領域”，其下的二級變量既含“社會服務”又含“醫療”，“醫療”亦可以算作“社會服務”的一種：部分指標的設計在分析過程中顯得冗余，如“政策公開”，不公開的政策不會出現在待分析文獻集中。一般地，綜合評價問題在指標體系的設計過程中需要遵循目的性、完備性、可操作性、獨立性、顯著性與動態性6個原則。目的性代表指標體系應具有一定的導向性，能為評價對象的改進提供方向：完備性代表指標體系指標能較全面地反映待評價對象系統的整體性能和特征：可操作性代表每項指標都可被觀測和衡量：獨立性代表每項指標要盡可能相互獨立，互不交叉重疊，互不矛盾因果；顯著性代表指標體系涵蓋關鍵指標即可，指標數量不應過多冗余：動態性代表指標體系可根據評價的反映效果進行動態修正。筆者認為，在指標體系的構建中需要檢驗是否符合這6個原則。

3）怎樣保證PMC指數模型使用的前后一致性。部分學者在研究過程中的搜集和預處理部分對目標領域的所有相關政策文本進行處理，但后續指數計算部分則只選取了“具有代表性的”“隨機的”政策文本進行分析。這一做法的出發點可能在于對所有政策文本進行預處理，以增強指標體系的全面性，但選擇代表性政策意味著丟失了研究的完備性，且存在一定的主觀性，對政策的隨機選擇又存在不確定性。因此筆者認為，為了保證模型使用的前后一致性，在政策文本搜集與預處理階段就確定待分析的政策文獻集，這一做法也可以保證構建的指標體系中的各級變量能包含待分析文獻中的全部要點。

通過對以上3個問題的討論，精簡出3條在政策文獻量化分析中使用PMC指數模型的建議：①由于PMC指數模型應用于政策評價是一種狹義的政策評價，在使用PMC分值進行劃分時，“完美”“優秀”“可接受”“不良”之類的描述較為粗糙，使用“合理完備”“符合預期”“有所側重”“覆蓋面窄”“適用性弱”的類似表達更為合理：②指標體系構建盡量滿足目的性、完備性、可操作性、獨立性、顯著性與動態性的原則，尤其需要注意完備性、可操作性和獨立性；③研究設計之初就確定待分析的政策文獻，避免后續應用PMC指數模型時對政策文獻的二次選擇。

4小結

本研究系統梳理了當前國內政策文獻量化研究中應用的PMC指數模型期刊文獻，通過目標文獻的統計分析揭示國內應用PMC指數模型的現狀，通過目標文獻的PMC指數模型應用分析揭示國內學者如何使用PMC指數模型，并進一步討論了如何更合理地應用PMC指數模型。同時，本研究也存在一定的局限性。首先，為了使目標文獻更具有解釋性和對比性，本研究并未對學位論文進行分析：其次，本研究僅對國內應用PMC指數模型的現狀進行梳理，并未考慮外文文獻中的應用；最后，本研究側重于對方法本身的描述，更適合對PMC指數模型不了解或未實踐過PMC指數模型的讀者。此外，還存在一些待思考的更加深入的問題，如怎樣對PMC指數模型進行改進使其能更好地體現政策的關注度，怎樣構建指標體系才能滿足目的性、完備性、可操作性、獨立性、顯著性與動態性的原則，怎樣選取合適的待分析政策文獻等。