關于我國學術評價體系的反思及建議

苗建軍 王擎 張彤

1 我國學術評價體系的現狀及問題

學術評價，就是一個權威學術主體按照公正公開的程序，使用科學的方法，對它所掌握的一系列評價信息進行科學的處理，進而得出評價的結論(高健和何美菊，2015)。學術評價需要一整套完善的學術評價體系，客觀公正的學術評價體系對于科研人員、高校、科研院所，乃至國家均具有重要的意義。教育部、科技部印發《關于規范高等學校SCI論文相關指標使用 樹立正確評價導向的若干意見》(以下簡稱《意見》)，要求規范各類評價工作中SCI論文相關指標的使用，鼓勵定性與定量相結合的綜合評價方式，探索建立科學的評價體系。這說明目前我國目前的學術評價體系雖然在一定階段促進了我國的學術發展，但是也暴露出一些弊端。目前我國學術評價體系中存在的突出問題主要有SCI至上，缺乏分類評價體系、同行評議活動不完善三個問題。

1.1 SCI至上

SCI(Science Citation Index，科學引文索引)是國內外廣泛使用的科技文獻索引系統，其本質是一個文獻索引系統，而非學術評價系統。其主要作用是通過統計論文的研究領域、方向、被引頻次，為科技工作者查閱最新文獻、跟蹤國際學術前沿和科研工作提供幫助。SCI論文是發表在SCI收錄期刊上的論文，相關指標包括論文數量、被引次數、高被引論文、影響因子、ESI(基本科學指標數據庫)排名等，不能簡單地把SCI論文等同于高水平論文。比如SCI論文的引用數量反映的是論文受關注情況，而不能對應于創新水平和實質貢獻，高被引論文更多反映的是學術研究熱點，但并不直接說明其創新貢獻。SCI數據庫收錄的論文不可能都是高水平，影響因子受許多非學術因素影響。很多情況下，SCI并不能完全反映期刊的學術影響力(劉雪立，2012)。所以SCI一定程度上肯定了科研工作者的科研成果，但不是評價學術水平與創新貢獻的直接依據和唯一標準。SCI論文相關指標也并不能全面反映科技創新貢獻，不適用對技術創新、成果轉化等工作的評價。過度看重SCI論文相關指標將導致高?？蒲泄ぷ髡咭园l表SCI論文數量、高影響因子論文、高被引論文為根本目標的異化現象，科技創新出現了價值追求扭曲、學風浮夸浮躁和急功近利等問題。

1.2 缺乏分類評價體系

目前我國學術評價體系中，看重論文級別和發表數量，沒有做到針對不同類別、不同科目的特定化、專業化評價。不同類別、學科、領域及專業的科研及成果差異迥然，不可能單獨使用論文作為唯一評價標準。從學科特點看，理科主要看論文，人文社科不僅可以看論文，著作和代表作也是重要的學術成果。而專利以及對產業界的實際效果對工科的學術評價也非常重要。此外，基礎研究、應用研究和技術創新對應有不同的成果形態，不同的研究領域應該有不同的標準評價，《意見》指出對不同類型的科研工作應分別建立各有側重的評價路徑。而當下的評價體系未能按照基礎研究和應用研究的不同屬性進行劃分，導致存在不符合現實的評價標準(張富利和陳奕青，2019)。對于基礎研究，論文是成果產出的主要表達形式，對于應用研究和技術創新，其成果主要是新技術、新產品、新工藝的產業化應用。使用論文作為應用研究和技術創新的評價標準顯然是不夠全面的，其評價重點應該是對解決生產實踐中關鍵技術問題的實際貢獻。而對于服務國防的科研工作和科技成果轉化工作，一般不把論文作為評價指標。因此，建立分類評價的學術評價體系顯得迫在眉睫。分類評價就是要遵循各個學科、各個門類科研自身的規律和特點，用最恰當的尺度去評價，切實落實分門別類、多元評價和精準評價。

1.3 同行評議活動不完善

同行評議是一種主要的定性評價方式，同行評議在中國的實踐日趨成熟與完善，應用也越來越普遍，無論是在方法或制度層面，同行評議都在不斷改進與優化(徐芳等，2018)。但是同行評審有專家不匹配、評價不客觀等問題，僅僅依靠同行評價，很難獲得科學、公正的評價結果?！兑庖姟芬蔡岢鼋M織實施部門要完善規則，引導學者在參加各類評審、評價、評估工作時遵守學術操守，負責任地提供專業評議意見，遵守利益相關方專家回避原則，同時對評審對象合理分組，遴選合適專家，并合理設定工作量等。但是作為一種定性評價方式，評價主體與被評價對象之間或多或少存在信息不對稱，這有可能導致評價中的逆向選擇與道德風險的問題。所以同行評價活動必須堅持一定的規范，含有主觀因素的評價方法在評價過程中難以避免地受到主觀因素的干擾(袁野，2015)，因此同行評價必須與定量評價方式相結合才能更好地發揮效果。

2 現有的學術評價方法分析

我國現有的學術評價方法主要有文獻計量、替代計量和同行評議(Altmetrics)，以下內容主要探討每種評價方法的具體做法以及各自優缺點?？傮w看三種評價方法都有自身的適用范圍、優勢和缺點。同行評議更多的是一種定性的評價方法，而文獻計量和替代計量是定量的評價方法，具體實施中可以將每種評價方法賦予不同的權重，將三種評價方法結合使用。針對不同的學科，三種評價方法賦予的權重應該有所差別，以更好地體現分類評價的思想。只有這樣才可以有效地減少評價誤差，提高評價的準確度和公正度，從而形成完善的評價體系。

2.1 文獻計量

文獻計量是利用各種數學及統計學的方法和比較、歸納、抽象、概括等邏輯方法對科學期刊、論文、著者等各種分析對象進行分析，以便揭示出研究對象所具有的特征或它們之間的關系及其規律性計量的方法。20 世紀50年代，文獻計量學家開始對引文索引和文獻引用規律進行研究。SCI就是一個典型的文獻檢索數據庫。同時相應的評價指標，如被引頻次、影響因子、h指數等也隨之誕生。單一指標均被證實可在一定程度上測度文獻影響力，而將影響因子與總被引相結合構建的評價指標體系可進一步綜合評價學術成果影響力。由于文獻計量法指標直觀、可比性強，隨之成為一種科研評價的重要方法。

但是文獻計量方法在科研評價中也暴露出一系列問題，部分學者也一直對文獻計量方法中出現的各種問題進行修正。董岳珂(2018)基于文獻計量在成果產出源、成果統計和個人影響力方面評測存在的問題，通過引入數學方法、情報搜索以及比值計算來校正文獻計量在科研評估中的片面性、局限性以及數據統計上的不公正。但是這些方法只是基于文獻計量方法上的改進，張蕾(2010)認為文獻計量法中的數據來自權威機構，因而的確具備客觀性、公正性與科學性，但是其評價指標體系相對不夠豐富與全面，無法全方位地反映被評價對象的學術水平。

2.2 替代計量

論文不能代表全部科研成果類型，引文也只能反映科研成果的交流與利用過程的一個很小部分，這是文獻計量方法的先天不足。隨著科學交流網絡化的普及，網絡記錄了科學交流的整個過程，這些交流過程形成的數據成為一種有價值并且可挖掘的數據源，基于社交軟件與基于成果使用率的新型指標(altmetrics 指標)將為科技評價體系帶來新的維度，可以更好地反映科研成果的社會影響力。替代計量的關注點是學術影響力中的社會影響力，是傳統文獻計量學的新發展(余厚強和邱均平，2014)。通過對社會網絡中的科研成果傳播路徑進行跟蹤與評判，使科研成果的社會影響力得到學術界的重視和認可。

傳統的文獻計量方法包含被引頻次、期刊影響因子等，顯得過于片面，而且多使用靜態數據評價，研究結果局限于某個時點，數據存在滯后性，不能反映動態變化，尤其對新文獻作用不大(王菲菲等，2020)。影響因子隨年份不停變動，且用同一影響因子表示同一期刊上的文獻會忽視文獻質量的差異性(王賢文等，2015)；而同行評議是專家學者對本專業領域科學共同體內的學術成果進行評價，不可避免存在評審偏見、決策延遲的現象。替代計量可以從另一個角度更客觀地衡量文獻的社會影響力，一定程度上彌補了傳統計量指標的不足。 但是替代計量學也存在一些無法避免的難題，如評價數據的可靠性和穩定性問題、權重分配問題等(余以勝和劉鑫艷，2017)。替代計量工具和平臺的指標體系是否完備、數據源是否穩定可靠、數據數量和質量是否達標、評價結果是否準確可信，這些都是替代計量學需要解決的問題(王貴海和朱學芳，2020)。

2.3 同行評議

同行評議是指某一或若干領域的一些專家共同對涉及上述領域的一項知識產品進行評價的活動。同行評議是最早被用來進行學術評價的方法。這一評價方法在20世紀30年代之后被學術界廣泛接受。我國在90年代初開始采用同行評議制度。同行評議主要基于學術共同體，要求科學家基于稿件作出公正的裁決。同行專家要恪守學術操守，負責任地提供客觀、公正的專業評議意見(吳凡潔和張海娜，2018)。從滿足科研評價實際需求上講，同行評議仍是目前科學界學術交流最可行的質量控制手段，也是評價實踐首選的量度工具(萬昊等，2017)。

但是同行評議作為一種主觀的定性評價方法，也存在種種不足。在人情社會、面子文化、圈子“江湖”潛規則下專家行為可能出現異化。 現有同行評議制度主要存在以下弊端：第一，目前學術研究的廣度和深度越來越大，評審專家所熟悉的研究領域與所評議的學術成果之間會出現信息不對稱的問題，這種信息不對稱可能會造成同行評議中的逆向選擇現象；第二，由于評價同行的主觀性不可避免地會使得評價標準有失客觀，導致不同專家的評議結果有可能出現不統一和不一致；第三，如果評價過程缺乏有效監督，評價權力又集中于少數專家手中，如果被評價對象與評審專家熟悉，可能存在一定道德風險；無論科研成果是否真的有貢獻，都能得到高分或通過。

2.4 三種評價方法的總結

同行評議、文獻計量和替代計量都是進行學術評價的工具，三者用于學術評價都有自身的優點和局限，每種方法都有各自最佳的使用對象和使用范圍。文獻計量是量化評價方法的基礎，替代計量是文獻計量方法的發展，其可以作為文獻計量的很好補充，但是替代計量也無法完全替代文獻計量在評價方法中的基礎作用。楊衛平(2001)提出應建立互不隸屬、獨立市場化運作的科研評價機構，提高評議過程的質量，克服目前評價體系中所存在的弊端。李彥麗和吳秀玲(2010)在肯定了文獻計量作用的同時，也從SCI的質量、數量以及來源期刊的不平衡性分析了局限性，提出了“同行評議為主，科學計量為輔”的評價體系。

3 國外學術評價體系及對我國的啟示

全球主要發達國家都已經建立了一套相對完整的學術評價體系，評價體系的科學性與完備性也有利于促進一國科研實力的提升。對全球主要國家的學術評價體系的研究可以挖掘學術評價體系的未來變化和發展趨勢，這對我國學術評價體系的建設也可以提供一定的有益借鑒。雖然各國采取的評價形式不同，但這些評價都服務于學術產出和質量的提升，促進國家科研實力和創新力的持續增長。對比各國學術評價改革的方向主要集中在幾個方面：第一，對于學科的分類更加科學，對于不同的學科類別，尤其是理工科和社會學科，采用不同的評價標準；第二，采用第三方獨立機構進行學術評價，第三；對于提交的科學成果數量和時效性進行限制，只為若干核心科研成果，而不是對全部的科研成果進行評價；第四，理工學科采用定量評價為主，社會學科采用定性評價為主更為科學；第五，更加注重科研成果對該領域的長遠影響和創造的經濟價值。

主要發達國家的學術評價體系中，英國的REF(Research Excellence Framework，科研卓越框架)，尤其具有代表性。REF的前身可以追溯至1986年科研選擇性評估(Research Selectivity Exercise，即RSE)。RSE是英國大學科研評價體系的起步階段，這一時期雖然有一整套完成的評估程序，但是沒有統一的標準衡量什么樣的學術水平可以達“卓越水平”。1992年啟動“科研水平評估”(Research Assessment Exercise，即RAE)對原有的評價進行了持續的完善，如各個學科都有不同且明確的評估標準，以確保對應用性和跨學科性的研究進行恰當的評估，使整個評估過程變得更加系統化和規范化。2014年REF制度取代了RAE成為英國學術評價的主流模式。REF 有一整套完整的計量評價指標，同時體現了分類評價的理念。它將所有學科分為4個主專家組，每個主專家組下設若干子專家組，4個分組分別是：生命醫學類學科、理工類學科、社會科學類學科、藝術與人文學類學科。每組都根據學科特點，設定不同的評價產出形式，如理工科注重文獻計量，而社會科學更注重同行評議等。REF只要求科研人員最多提供4份有代表性的科研成果，這避免了只重視成果數量而不重視質量的尷尬，科研產出質量占65%的權重，同時它們還將影響納入評價體系，體現了REF更注重學術研究的實用性和影響力的導向。

針對交叉學科或者綜合性的學科，有可能同時被歸類到幾個學科中。不同的學科采用不同的評價方式。卓越評價采用定性和定量相結合的評價方法，主要包括如下指標：成果數量和活躍度，主要提供該學科科研的背景資料；出版物檔案，包括學術專著、章節、期刊、會議論文等，對深度和廣度作出鑒定；引文指標，基于Scopus通過與本國及世界平均水平進行對比得出；同行評議，只提供專業報告，不打分；研究收入；成果應用。將科研成果和世界水平進行對比。REF體現的分類評價、同行評議、定性與定量評價結合、注重學術成果的社會價值等理念均是我國學術評價體系可以借鑒的方向。

美國的學術評價方法結合了文獻計量、替代計量和同行評議等方法。我們以經濟學的學術評價方法為例，美國各高校在評定教師終身教授或升職稱時主要看以下幾個方面：第一，論文數量和質量。論文質量主要看期刊的質量和影響力，比如經濟學最高質量的五大綜合期刊是AmericanEconomicReview，Econometrica，QuarterlyJournalofEconomics,JournalofPoliticalEconomyandReviewofEconomicStudies，然后就看各專業領域的高質量期刊，至于期刊如何排名各高?；径加泄沧R，我們這里不再展開討論。 第二，本系資深教授評價。系里一般臨時組織一個由三到四人組成的委員會，委員會成員分工閱讀被評審教師的代表性文章，并寫一個報告評價文章的學術價值。第三， 同行評價。系主任或院長邀請國內外同行專家評價被評審人的代表性學術論文，系里教授委員會再總結分析這些評價，作出判斷。第四，學術影響力。學術影響力主要看被評審人的文章引用次數、h指數、i10指數、論文獲獎情況、被評審人在學術會議上宣讀論文的次數和作過學術報告的次數等。

美國各個高校的學術評價體系都類似，不同層次的高校設定的標準會有不同。比如說頂尖學校要求論文刊發的期刊質量更高，但數量并不一定要求更多，索要的校外專家推薦信數量更多，而且專家的名氣要更大，最后排名靠前的學校也很講究學術影響力，這要看論文引用次數、論文曝光度和關注度。

4 完善我國學術評價體系的設想

我國學術評價體系大致經過了行政評價、同行評價、指標量化評價和國際科研計量評價幾個階段。目前我國學術評價體系中，看重論文級別和發表數量，沒有做到針對不同類別、不同科目的特定化、專業化評價。且過度看重SCI指標，但是SCI無法全面評估創新水平和實質貢獻，且同行評議機制不完善。根據發現的這些學術評價體系中存在的潛在問題，結合國外，尤其是英國REF的做法，我們提出一定要建立分類評審機制，每個學科的評價方式會有所側重，根據學科特點，有的更注重定量指標，有的更注重定性指標。比如理工科可以以文獻計量為主，同行評議為輔助，而社會科學更注重同行評議，但也應該將定量指標納入評價體系中。

隨著大數據技術的興起，其在學術評價上的應用也逐漸顯示出巨大的優勢，大數據可以基于海量的文獻計量數據和定性數據全方位的進行學術評價。較為成熟的文獻計量數據庫為學術評價大數據之路起到了奠基作用，大量豐富的文獻數據在文本對比分析、評價指標基礎數據構建方面具有不可或缺的作用。定性評價是學術評價的重要方式，但其數據庫的建設難度較大。中國知網科學文獻計量評價中心基于中國學術文獻總庫、中國引文數據庫、學術不端檢測系統等研發了網絡化評優系統，幫助評審者剔除存在學術不端行為的文獻、界定論文創新點、吸納國際同行評價意見，其學者信息數據庫、碩博導師數據庫已具備了大數據的雛形(楊英倫和楊紅艷，2019)。目前大數據應用于學術評價尚處于起步階段，隨著定性數據庫的豐富以及跨數據庫平臺的大數據學術系統的建立，大數據在學術評價中會發揮出更大的作用。

雖然同行評議和文獻計量以及替代計量的結合可以更加全面地評價學術成果，但是同行評議本身依然存在主觀性和道德風險問題。隨著區塊鏈技術的興起，其具有的去中心化等特點，可以有效解決同行評議中存在的種種弊端。評議專家的選擇和同行評議中的道德風險是現在同行評議中最關鍵的兩個問題，區塊鏈技術可以很好地解決這兩個問題。針對專家的選擇，建設一套包含專家數據庫信息的評議系統非常關鍵。系統中可以根據學科分類在每個大類學科下建立一個專家數據庫，數據庫中每條專家的相關信息至少包括研究領域、學術成就等關鍵信息。在進行評議前，系統會為待評價的學術成果自動檢索特定領域的同行專家，以保證專家的研究領域、資質等學術信息和被評價對象相匹配。此外，所有的評審結果都會保存記錄在區塊鏈的區塊中，區塊鏈的不可篡改性很大程度上保證了評審過程中的專業性和公正性，能夠最大可能地避免道德風險的發生。此外評審專家由系統自動匹配選擇，評審人與被評審人互不知曉，也在很大程度上保證了評審的客觀公正。區塊鏈的去中心化技術特性可以擴大學術評價的主體，使評價結果接受更多評價者的監督，從而提高學術評價的“把關”質量；借助共識協議預防評價權下放而導致的錯誤擴散問題；借助時間戳提供學術評價追溯依據；借助智能合約保證系統內各類信息的準確性和合法性(余以勝等，2020)。

綜上所述，學術評價體系是一項復雜的系統工程，每種具體的評價方法都有其優勢和弊端，沒有任何一種單一的方法可以對學術貢獻作出客觀的、全面的評估。針對我國現狀，我們提出定量評價方法一定要和定性評價方法相結合，文獻計量是最基礎的定量評價方法，替代計量可以作為一種文獻計量方法的有效補充，但是其不能替代文獻計量的基礎作用。一定要建立分類評價的評價體系，不同學科應該在評價方法上根據學科的特點有所側重，有的更注重定量評價，有的更注重定性評價。此外同行評議也是學術評價體系中的重要環節，隨著大數據、區塊鏈等技術的興起，這些技術也能有效解決同行評議中存在的種種弊端，從而使整個學術評價體系更為客觀和全面。

在經濟學學科的學術評價方面，其自身的一些特點也決定了經濟學學術評價相對于其他學科評價存在一些特殊性。首先，經濟學在當今中國承擔的主要任務之一是如何發展經濟，造福于民，即“經世濟民”。所以相對于其他學科，經濟學學者及其觀點、理論的曝光度會遠高于其他學科，受大眾的關注也更多，可以說很多學者的受關注度不僅僅局限于傳統意義的“學術圈”。從這個角度看，替代計量可以從更廣泛的角度綜合衡量學者學術水平的社會影響力。當然公眾的關注度并不完全等同于學者的學術影響力，這需要我們選取合適的替代計量指標體系。其次，國內外經濟學學術期刊的作者署名規則有所不同，比如目前經濟學的國外學術刊物的作者署名都是按照姓氏排序，在評審國內學者發表在國外學術期刊中的論文時，也應該注意遵從這個規則，同等對待。最后，不同于其他自然科學領域，經濟學學科研究的問題具有很強的現實背景和本土特色，對于很多中國經濟現象的研究不僅有很強的理論價值，也有巨大的現實意義。但是針對這些方面研究的一些文章在國際上發表可能存在一定難度，不能因此就降低或者否認這些研究的貢獻。所以在具體的評價過程中，不能僅僅考慮發表期刊的國際影響力，也要綜合考慮學術研究對于國內經濟問題研究的貢獻度。綜合來看，經濟學學科的學術評價只有在綜合文獻計量、替代計量和同行評議等方法的基礎上，結合學科特點和國情現狀的特殊性，才能建立一套科學的經濟學學術評價體系。