世界大學排行榜相似性度量及差異分析

莊 赟，應含馨，趙 楠

(1.集美大學財經學院，福建 廈門 361021；2.北京師范大學統計學院，北京 100875)

一、研究背景

伴隨高等教育國際化的全球趨勢，世界各地高等教育質量的競爭情況加劇，世界大學排行榜應運而生，大學的國際排名對公眾輿論有很大的影響。歷史較長且在國際上較受關注同時在國內知名度較高的四大世界排行榜分別是中國上海軟科教育信息咨詢有限公司的世界大學學術排名(ShanghaiRanking’s Academic Ranking of World Universities，簡稱“軟科排行榜”)、英國QS Quacquarelli Symonds 公司的QS世界大學排名(QS World University Rankings，簡稱“QS排行榜”)、《泰晤士報高等教育副刊》的世界大學排名(The Times Higher Education World University Rankings，簡稱“THE排行榜”)和《美國新聞與世界報道》的全球最佳大學排名(U.S. News &World Report Best Global Universities rankings，簡稱“U.S. News排行榜”)。越來越多的利益相關者包括大學本身、學生、家長和學者等，對大學排名越來越感興趣和重視，各大排名網站點擊量和排名結果被新聞媒體報道引用的次數屢創新高(1)如QS世界大學排行榜網站發布的數據顯示：2019年，QS的旗艦網站www.TopUniversities.com的瀏覽量為1.49億次，全球媒體發布了超過9.4萬篇與QS相關或提及QS的報道。。

大學都在努力提高國際知名度和影響力，爭取在排名中表現好，即使是世界一流大學也很重視排名，如THE排行榜發布2022版世界大學排名的當天，牛津大學網站隨即發布新聞對連續第六年蟬聯該大學排行榜榜首進行宣傳，同時也專門對泰晤士報的世界大學排行榜進行了介紹[1]。QS排行榜2022版世界大學排名發布后，麻省理工學院新聞辦公室也在其網站發布連續10年被QS評為世界排名第一大學的報道[2]。其他大學同樣關注在排行榜中的排名變化，并選擇有利于自己的排行榜進行宣傳，如在QS排行榜中排名第8而在其他排行榜中沒入選前10名的倫敦大學學院在其網站首頁也只引用QS排名進行宣傳報道[3]。這4個世界大學排行榜同時也是國內多地人才政策制定時認定畢業院校排名的依據，如2022年上海為助力復工復產實施人才特殊支持舉措加大世界名校留學人員引進力度，其中世界排名前50名、前100名院校的認定由相關主管部門參照上述四個大學排行榜發布的排名進行認定[4]；又如《福建省高層次人才認定和支持辦法(試行)》中認定的國際知名三大世界大學排名同樣指“軟科排行榜”“QS排行榜”和“THE排行榜”[5]。

可見，這些世界大學排行榜已經對一些國家政府的高等教育政策、眾多大學的辦學理念、方向和行為、普通大眾對高等教育的認識等產生了不可低估的影響[6]。相應地，不同大學排行榜排名結果的差異以及由此引出的大學排行榜本身能否有效反映人們所關心的大學“質量”的優劣、排名方法是否科學合理也成了學界討論的焦點。對于學生、家長和其他利益相關者來說，在分析、解釋和使用排名結果之前，了解各種排名結果差異的影響因素是至關重要的，需要通過分析不同排行榜評價內容的側重點和評價方法的區別，以明確排名結果是否都像其宣稱的是大學整體質量的衡量。

顯然，不同的排名方法會產生不同的結果，但如果不同的排行榜反映的是共同的評價目的的話，即排名都是為了體現大學潛在的實力和質量水平，則各排行榜排名結果應該相對一致。而且從高等教育機構的質量變化來看，無論是其教學質量、畢業生的質量抑或是科研質量等，都是一個緩慢積累的過程，是長期沉淀后的結果，所以在合理的評價指標體系下，同一排行榜每年的排名結果也不應有太大的波動?？梢酝ㄟ^計算歷年排名之間的斯皮爾曼等級相關系數來檢驗各年排名的穩定程度，隨著時間的推移，這些相關性應該會略有下降，但應該保持相對較高的水平，因為大學是緩慢演變的機構[7-8]。Friso Selten等人(2020)也分別計算了軟科、THE、QS三大排行榜，2013-2018年每年進入前100名的重疊大學數量及其排名的Spearman等級相關系數的逐年變動趨勢，研究得出結論是，重疊大學的排名在幾年間變化不大，隨著時間的推移，其中軟科排名最穩定，THE的排名相對不穩定[9]。但這種只基于重疊大學的一致性檢驗只針對歷年都上榜的大學計算其排名等級相關系數，本身就把排名波動比較大的學校排除在外，得出排名穩定性的分析結論依據不夠，結果的可靠性會因此降低。

綜上，本文對4個大學排行榜兩兩之間的相似度分不同排名區間進行比較，采用重疊度和等級相關兩個指標相互配合進行比較分析，從而對不同排行榜排名結果的一致性進行較客觀全面的衡量，進一步從評價指標體系、權重設置、數據來源、指標標準化方法和引文的學科差異處理方式等方面分析排名結果差異的原因，幫助公眾更科學地解讀排行榜，并在此基礎上對現有世界大學排行榜排名方法的合理性進行評價。

二、四大世界大學排行榜概覽

(一)上海軟科的“世界大學學術排名”

世界大學學術排名(ARWU)最早由上海交通大學世界一流大學研究中心于2003年6月首次發布，是世界范圍內首個綜合性的全球大學排名，以后每年更新一次。自2009年起，世界大學學術排名 (ARWU)(軟科)由上海軟科教育信息咨詢有限公司(ShanghaiRanking Consultancy)出版并擁有版權。ARWU(軟科)使用6個客觀指標對世界大學進行排名，包括獲得諾貝爾獎和菲爾茲獎的校友和教職員工的數量、由科睿唯安(Clarivate Analytics)數據平臺確定的高被引研究人員的數量，在《Nature》和《Science》刊物上發表的論文數量，被SCIE (Science Citation Index-Expanded)和SSCI(Social Sciences Citation Index)數據庫收錄的論文數，以及大學的師均學術表現。每年，ARWU(軟科)都會對1 800多所大學進行排名，并公布最佳的1 000所大學排行榜。2021年8月15日，上海軟科(2)上海軟科教育信息咨詢有限公司是一家完全獨立的高等教育咨詢機構，不隸屬于任何大學或政府機構。發布了2021年世界大學學術排名[10]，排行榜包含世界最為領先的前1 000所大學的名單，哈佛大學連續第19年位居榜首，斯坦福大學和劍橋大學分列第2和第3位。有38所大學首次進入前1 000名。來自美國的大學在前1 000所大學中仍占據主導地位，前100名中有40所，前500名中有129所，前1 000名中有200所。英國有65所大學進入前1 000名，其中38所大學進入前500名，8所大學進入前100名。在亞洲大學中，東京大學(第24位)保持領先地位。中國有180所大學進入前1 000名，其中有84所大學進入前500名，7所大學進入前100名。清華大學(第28位)上升1位次，繼續保持亞洲第2名的位置，北京大學保持前50名，位居第45位。

(二)《美國新聞與世界報道》的“全球最佳大學排名”

2021年10月26日，《美國新聞與世界報道》(3)U.S. News是一家多元化的數字媒體公司，成立于1933年，總部位于美國華盛頓特區，擁有教育、健康、新聞等平臺，提供排名、獨立報道、數據新聞、消費者建議等。(U.S. News &World Report，以下簡稱U.S. News)公布了最新的“2022全球最佳大學排名”(2022 Best Global Universities Rankings)[11]。該排行榜對來自91個國家的1 750多所大學根據13項指標進行排名，這些指標衡量的是大學的學術研究表現及其在全球和地區的學術聲譽[12]。一所大學的學術聲譽和學術研究的衡量是基于數據分析公司科睿唯安(Clarivate)的兩大數據平臺Web of Science和InCites提供的指標，包括出版物、引文和國際合作等文獻計量指標，這為那些對學校學術研究水平感興趣的潛在學生提供了更多的信息。U.S. News全球最佳大學排名要求參與評估的高等教育機構，2015—2019年，由Web of Science平臺統計的發表論文數達到1 250篇的最低門檻，在這個標準下，2022年全球最佳大學排行榜共包含1 750所學校，比2021年增加了200多所，擁有上榜高等教育機構總數前5位的國家分別是，美國271所(占所有排名學校的15.5%)，中國253所(占比14.5%)，日本93所(占比5.3%)，英國89所(占比5.1%)，德國70所(占4%)。美國大學在總排名中處于領先地位，包攬前4名，排名第1的是哈佛大學(Harvard University)，緊隨其后的是麻省理工學院 (Massachusetts Institute of Technology)、斯坦福大學(stanford University)和加州大學伯克利分校(University of California-Berkeley)，分別位居第2、第3和第4。排在前5名的是英國的牛津大學(University of Oxford)。中國的清華大學和北京大學躋身全球前50名，分別位于第26和45名。

(三)《泰晤士報高等教育副刊》的“世界大學排名”

2021年9月2日，《泰晤士報高等教育副刊》發布了“世界大學排名2022”(The Times Higher Education World University Rankings 2022)[13]。該排行榜基于教學(學習環境)、研究(發表量、收入和聲譽)、引用(研究影響力)、國際展望(國際教師、學生和國際合著)和行業收入(知識轉移)等5個領域的 13個績效指標，根據愛思唯爾的文獻計量數據庫(Elsevier’s Scopus database)統計2016—2020年間發表的1 400多萬份研究成果在2016—2021年的被引情況，合計1.08億次引文數據，以及對包括全球近2.2萬名學者的調查數據，對2 100多所提交排名數據的高等教育機構進行了分析，最終對來自 99 個國家和地區符合其排名標準的1 662所的大學進行了排名。牛津大學連續第六年位居榜首，美國有 183 所大學入選排行榜，是上榜學校數量最多的國家，也是前200名大學中入選數量最多的國家，共57所大學上榜，但相較于之前年份美國在前20名精英大學中所占份額正在減少。中國大陸有兩所院校首次進入前20名：北京大學和清華大學并列第16位。

(四)QS Quacquarelli Symonds公司的“QS世界大學排名”

2021年3月29號，從事全球高等教育服務的QS Quacquarelli Symonds有限公司[14]發布了最新一期排行榜“世界大學排名2022”(QS World University Rankings 2022)[15]。QS智庫自2004年發布第一期排行榜以來，基本沿用了根據學術聲譽、雇主評價、師生比、國際教師及留學生的比例和師均論文引用率等6個關鍵指標比較世界各地的大學在教學、研究影響、聲譽、學生就業能力和國際化方面的績效表現并進行分析評估[16]?；诔^13萬名高等教育領域的專家關于世界大學教學和研究質量的學術意見調查，和基于超過7.5萬份的雇主調查反饋，以及根據愛思唯爾出版公司的Scopus數據庫(Elsevier’s Scopus database)中，2015—2019年發表的1 470萬篇論文，在2015—2020年，共計9 600萬引文數據，2022版的大學排名囊括了來自世界各地的符合排名條件的1 300所大學，比去年增長了10%，這是QS迄今為止發布規模最大的排行榜。麻省理工學院(MIT)連續第10年摘取桂冠，哈佛大學排名第5跌出前3甲，排名降至歷史最低，取而代之的是牛津大學從第5名升至第2名，劍橋大學與斯坦福大學并列第3。美國總共上榜177所大學，是所有國家中上榜大學數量最多的。亞洲排名最高的大學是新加坡國立大學(NUS)，在全球排名第11位，2022年在學術聲譽指標上獲得了全球最高的分數。中國大陸共有56所大學上榜，清華大學和北京大學表現最好，分別排第17和18名。

三、四大排行榜上榜高校地區分布比較分析

4個世界大學排行榜出版方來自3個國家，分別是中國的軟科排行榜、英國的THE排行榜、QS排行榜和美國的U.S.News排行榜。從前文排行榜概覽中我們已經看出，U.S.News排行榜中美國學校在1 750所大學排名中占據或接近榜首的主導地位。前20名中有15所美國學校，前25名中有19所美國學校，前50名中有24所美國學校，前100名中有43所美國學校。這意味著美國大學在本國的U.S.News排行榜中占排名前100的43%，美國大學在世界排行榜中以絕對的優勢領先歐洲的大學，這也是排行榜在歐洲引起很大反響的原因之一。不同排行榜的排名結果存在差異，那么不同的排行榜是否存在對不同地區的大學甚至是自已國家大學的偏倚呢？本文通過對前10名、前50名、前100名、前200名和前500名這幾個不同排名上榜高校數量的地區分布進行比較分析，試圖從中找到答案。4大排行榜2021年最新發布的排名結果中，中國(中國大陸、中國香港和中國臺灣)、英國和美國高校的數量分布(見表1)。

表1 2021年四大世界大學排行榜上榜高校地區分布

表1顯示，英語國家的大學在排行榜中占領絕對優勢。這也支持了學界普遍的這樣一種批評，即排名方法有益于西方，尤其是英語國家的大學，盡管越來越多的非英語國家的大學主要以英語出版研究成果，但在所有排名中，都可以看到英語國家大學在研究表現方面的巨大優勢(Van Raan，2005；Salmi，2009)[17-18]。雖然英美高校都是入選數量最多的，特別是美國高校，但由英國出版的QS和THE排行榜的美國高校明顯較美國出版的U.S.News排行榜中美國高校的數量少，特別是排行榜越往后這個情況越明顯，可能和QS和THE排行榜，使用Scopus數據庫考慮更多非英語論文有關，給了其他地區高校更多的機會。Elsevier的Scopus數據庫覆蓋所有地理區域的研究論文，包括非英語論文，只要文章可以提供英文摘要。事實上，Scopus中大約22%的標題是用英語以外的語言出版的，加起來有40種當地語言(或同時用英語和其他語言出版)。此外，Scopus超過一半的內容來自北美以外的國家，代表歐洲、拉丁美洲和亞太地區的各個國家。然而，盡管THE和QS的排名都采用了不同的數據庫來降低非英語文章被引用較少的影響，英語國家的大學仍然排名領先。這當然一定程度上能說明北美和歐洲大學的整體實力，但也可能和排名指標體系中聲譽調查有關，畢竟基于學者主觀判斷，而普遍對歷史悠久的英美國家的大學的熟悉度是最高的。而且不同的受訪者被邀請參與調查。他們并不熟悉所有的大學，他們的觀點受大學的受歡迎程度的影響更大，而不是實際表現或目前的優秀程度，因此之前歷史悠久的歐美大學之前的聲譽會繼續延續，導致聲譽調查實際上有自我強化的作用，英美大學則會長期占優勢。

另外由表1中的地區分布可以看出，確實存在本國發布的排行榜對本國高校評價高于其他排行榜對本國高校評價的情況。最明顯的是英國的THE排行榜和QS排行榜，各個排名段中英國高校在這兩個排行中上榜的學校數量均高于其他排行榜。美國U.S.News排行榜對美國高校的評價也高于其他排行榜，特別是高于英國排行榜對美國高校的評價，這個情況在排名前500的階段尤其明顯，U.S.News排行榜中美國高校有130所，遠遠高于QS排行榜中美國高校的87所。中國高校在中國軟科排行榜中的上榜學校數也是遠高于其他排行榜，軟科排行榜中前500名中國高校一共有84所(其中中國大陸72所)，遠高于U.S.News排行榜的53所、QS排行榜的43所和THE排行榜的37所，其中QS排行榜和THE排行榜中中國大陸上榜學校數量僅為軟科排行榜的1/3左右。

綜上所述，各國排行榜確實對于自己國家高校存在偏重，這個結果產生的原因可能是：由于對本國的高校更加了解且數據更容易獲取，而獲取其他國家數據時有偏差甚至缺失；也可能是在設計排名方法時出于幫助提升本國高校在國際高校中競爭力的目的，從而從對本國有利的方面出發進行指標選取。但排行榜顯示出的最明顯的偏倚是對英美等英語國家大學的偏倚，特別是表1上榜高校的區域分布定量分析結果驗證了學界之前提出的批評觀點。

四、四大排行榜排名結果相似度比較

2021年軟科和THE排名有一個積極的特點，那就是前10名中有9所大學是兩者共同的：哈佛大學、斯坦福大學、劍橋大學、加州理工學院、加州大學伯克利分校、麻省理工學院和哥倫比亞大學、芝加哥大學和牛津大學(見表2)。在軟科前10名中也有8所大學在U.S.News的前10榜單中。換句話說，盡管使用的指標各不相同，但這3項排名識別出了類似的世界級大學。但是，QS排行榜前10榜單和其他排行榜的重合大學只有6～7所。而且在排名的中下游，我們觀察到的差異要大得多，例如，大阪大學(Osaka University)在2022年世界排名中在QS排行榜排名72，在軟科排名176，而在THS排名326，這種現象在其他排名靠后的大學中也一樣普遍存在。

表2 四大排行榜前10名榜單

排名不一致的問題，這是排行榜最引爭議的地方，比較而言，一些大型和成熟的綜合性高校不太受排名標準的影響，顯然基于規模的總量指標對綜合性大學有利，基于大學人均科研產出指標進行科研績效總體水平的估計，其不確定性也同樣受規模大小的影響，規模較小的學校，由于其人均指標較大的變異性，往往使排名出現“極端情況”。因此頂尖大學排名相對穩定的，但排名越靠后的大學排名存在強烈分歧(不同排行榜中重合大學數越來越少，而且重合里面的排序也不一樣，說明差異非常大)，這與大學質量變化是一個緩慢積累過程的特點相違背，因些需要進一步對不同排行榜不同排名區間的排名結果進行一致性比較，以驗證大學排名方法是否反映大學發展的本質特征。

(一)測量方法

本文對所研究的4個大學排行榜兩兩之間的相似度采用重疊度和等級相關兩個指標相互配合進行比較分析，從而對不同排行榜排名結果的一致性進行判斷。首先計算排行榜兩兩之間重疊度，即計算同時出現在每兩個排行榜中的大學的數目(The number of overlapping)，用N.O.表示，如比較兩個排行榜前10名列表，若其中有5所大學重復，則這兩個榜單的重疊度N.O.記為5。由于上榜的學校不一樣，只能根據重疊大學計算相關性，又由于得分計算標準不一樣，為了研究排名一致性，基于等級相關系數的計算方法構造測量排名一致性指標。根據Diaconis等(1977)[19]提出的與著名的斯皮爾曼簡捷相關系數(Spearman footrule)相關的度量方法，計算重疊大學在不同排行榜中排名秩差(名次差別)的絕對值之和D，并進一步將其轉換成具有相關系數性質的F指標，以此進一步衡量重疊大學在不同排行榜中排名等級的一致性。

假設原始的兩個排行榜A、B中各有10所學校，但是只有a、b和c是同時出現在兩個排行榜中的大學，則兩個排行榜的重疊度N.O.記為3。然后將兩個排榜中的重疊大學分別重新排序，在排行榜A中a、b和c這三所學校分別排名第7、2和8，于是重新排序，a排名2，b排名1，c排名3，得到一個重新排名的列表σ1=(2，1，3)；在排行榜B中這三所學校分別排名第5、6和4，則同樣對B榜中這三所學校重新排名，a排名2，b排名3，c排名1，得到另一個重新排名列表σ2=(2，3，1)。這樣就可以進一步計算兩個排行榜對重疊這部分大學排名等級的一致性。

根據兩個排行榜重疊大學重新生成的排名列表σ1、σ2計算排名秩差絕對值之和D：

(1)

式(1)中，i是同時出現在兩個排行榜中的大學，i=1…Z，Z是兩個排行榜中重疊大學的數量，σ1(i)代表大學i在第1個重排名列表σ1中的名次，σ2(i)代表大學i在第2個重排名列表σ2中的名次。

顯然公式(1)計算得出的排名秩差絕對值之和D(σ1，σ2)受排序列表長度的影響，進而采用Aguillo等(2010)[20]的標準化方法，用公式(1)的計算結果除以最大值，將其轉換為一個與排序列表長度Z無關且取值落在0到1之間的度量值D’(σ1，σ2)。當Z>1時有：

(2)

此時，當兩個排序列表完全相同時，D’(σ1，σ2)=0，反之則為1。為了進一步得到與傳統的相似度指標一致的衡量方法，利用公式(2)將結果正向化，得到度量兩個排序列表等級相關度指標F

F=1-D’(σ1，σ2)

(3)

式(3)中0

公式(3)只衡量了兩個排行榜中重疊大學的排名等級的相似度，還需要結合兩個排行榜的重疊度，來衡量兩個排名結果之間一致性的程度。兩個排行榜重疊的學校數量越多，重疊學校排名的等級相關度F值越高，則兩個排行榜的一致性越好。

(二)結果分析

根據式(1)-式(3)描述的方法，對軟科、THE、QS和U.S.News 4大排行榜進行相似度分析，由于軟科排行榜中，只對前100名的學校進行具體的排名，故本文在此分別對2021年4大世界大學排行榜的前10名、前50名和前100名榜單進行兩兩對比分析，得到兩兩間的重疊度N.O.和重疊大學排名等級相關度F值，最終的結果(見表3)。

表3 2021年四大排行榜相似度比較

以表2中四大排行榜前10名榜單為例結合表3指標進行分析。先比較前10名榜單中軟科排行榜和其他3個排行榜的一致性：軟科和THE排行榜重疊學校數量最多，重疊度N.O.=9，與U.S.News排行榜雖然重疊學校的個數為8，但進一步比較重疊學校的等級相關度F值，軟科與U.S.News的F值最高，F=0.6875高于軟科與THE排行榜的F值(0.45)，綜合比較而言前10名排名結果，軟科排行榜與U.S.News排行榜的相似度更高；而軟科與QS的重疊度最低，N.O.=7，同時等級相關度F值僅為0.39，說明軟科與QS排行榜的相似度最低。再比較其他排行榜之間的相似度，前10名中U.S.News排行榜與QS排行榜重疊度最低，僅有6所學校同時上榜，相比THE排行榜與U.S.News重合學校多了1所，但F值最低，僅為0.25，從排行榜中也可以看出，哈佛大學、麻省理工、牛津大學、劍橋大學這4所名校在THE與U.S.News這兩個排行榜中的名次差別還是比較明顯的?？偟膩碚f，在前10名榜單中，軟科排行榜和U.S.News排行榜相似度最高，而THE排行榜與U.S.News排行榜一致性程度最低。

在前50名榜單中，軟科和U.S.News兩個排行榜有41所學校重合，而且F值最高，F=0.81，說明相似度最高；而科軟和QS的重疊度只有33，等級相關度F值僅為0.61，說明軟科和QS的相似度最低。前50名中QS和THE的重疊度為40，F值為0.645，兩項指標均高于QS和其他兩個排行榜的重疊度和F值，說明相對而言QS排行榜和THE排行榜相似度更高一些。

同樣的方法比較前100名榜單，不難發現在前100名的對比中所有排行榜與QS排行榜的重疊度和相關度F值都最低，說明QS與其他3個排行榜的一致性程度最低，但比較發現，相對而言，THE排行榜和QS的相似度較高，F值為0.672，重疊學校72所，均高于QS和其它兩個排行榜的相似度，這與前50名榜單比較的結論一致。同樣比較發現軟科和U.S.News兩個排行榜的相似度較高。

綜上所述，在4個世界大學排行榜中，隨排名長度增加，相似度指標F值下降，雖然前10名相似度F值更低，但由于樣本容量太小，不能說明問題。從重合度可以看出，榜單越長，重合的比例越低，所以相對而言，對頂尖大學的評價相對一致。另外，無論是從重疊大學的數量N.O.還是從重疊大學的排名等級相關度F值來看，軟科排行榜和U.S.News排行榜的一致性程度最高；而QS排行榜與其他排行榜的相似度明顯較低，但相對其他3個排行榜而言，THE排行榜與QS排行榜相似度略高一些。

五、大學排行榜排名結果差異的原因分析

根據以上分析，就單個排行榜來說，無論是從重合度N.O.值還是相似度F值的綜合對比來看，QS排行榜與其他排行榜的相似度較低。但在前10名，QS與其他排行榜重合度都高于排名靠后階段，說明各排行榜對頂尖大學生的評價保持較高的一致性。但隨著排名靠后，排名方法包括指標體系、具體權重、標準化方案的選擇和數據來源等，都是最終排名順序的重要決定因素，以上4個世界大學排行榜都是采用多指標加權算術平均的綜合評價方法，排名結果取決于評價指標和權重的選擇，這些因素因排名機構而異，根據4個排行榜官網公布的最新排名方法，我們基于影響排名結果的統計綜合評價各要素出發，深入探討排名結果差異的原因。

(一)指標體系側重點不同

影響排行榜排名結果差異的主要因素是指標體系，雖然軟科排名、U.S.News排名、THE排名和QS排名這四個排名都使用了類似的概念，如教學、研究、聲譽或國際影響力，來衡量大學質量的不同方面，但不同的排行榜的側重點并不相同，并且選用不同的指標來評估這些概念，也是導致排行榜排名結果差異的原因。

軟科排名和U.S.News排名基于科研類指標，只關注研究結果，完全忽略了高等教育質量的其他方面，盡管軟科使用諾貝爾獎或菲爾茲獎(用于校友或學術人員)的數量來衡量教育質量或教師質量，但實際上并不能全面衡量教育質量；THE排名則采用了多種標準，教學、研究、聲譽或國際影響力多個方面均有體現在指標體系中；QS排名的兩項聲譽調查指標占比50%，相比其他排行榜更強調聲譽。

總體而言，4個排名中軟科排行榜和U.S.News排行榜與THE的相關性都比他們與QS強。這是因為QS排名更強調聲譽，其聲譽指標占比達50%，而相比之下THE排行榜的聲譽指標只有33%。同時，QS排名更少強調基于證據的研究指標，其文獻計量指標占比僅占20%，并且僅使用每位教師的引用數(20%)來衡量，而THE排行榜的文獻指標占比38.5%，包括引文影響力(30%)、國際合著比例(2.5%)和人均發表數(6%)。

將排行榜兩兩比較，軟科排名與QS排名最不相同，這是因為軟科排名只強調學術成就，而QS排名的指標體系中大比重地使用主觀非學術指標。QS和THE的指標體系都基于大比重的聲譽，兩者都以大學聲譽和同行評審為特征，所以兩兩更相近。

軟科排名關于大學構成的概念與THE排名使用的概念有很大的不同。雖然它們都對同一所大學進行評估和排名，但它們使用的排名標準顯然截然不同。雖然軟科排名基本上是一個研究排名，但它被廣泛解讀為大學排名。相比之下，THE排名將研究、教學、勞動力市場資格和國際化方面的因素混合在一起，方式相當隨意。這也是導致兩個排行榜差異的原因。

(二)指標的權重不同

指標權重的不同也是大學排行榜排名結果差異的原因之一，以研究類指標和聲譽類指標為例，不同的指標體系對于基于研究和聲譽的指標具有不同的權重。

科研指標的權重差異：軟科排名和U.S.News排名科研指標權重分別是60%和65%，而THE只有38.5%，QS排名則更少，只有20%的權重用于唯一一個衡量科研的指標，即每位教師的引用次數。

聲譽指標權重不同：QS、THE和U.S.News分別將50%、33%和25%用于聲譽調查。QS進行了2次聲譽調查(學術調查40%，雇主10%)，THE進行了兩次聲譽調查(研究聲譽調查18%，教學聲譽調查15%)，而USNWR進行了2次研究調查(全球12.5%和地區12.5%)。

(三)數據來源不同和指標規范化標準不同

研究指標的數據來源不同。THE和QS使用Scopus數據庫，而ARWU使用WoS數據庫，U.S.News排名相關指標則由科睿維安(Clarivate)旗下兩大平臺 Web of Science和InCites提供。

聲譽指標數據來源不同。50%的QS分數是基于兩個聲譽調查(學者和雇主)，而ARWU沒有使用任何調查。一個排名系統只使用定量數據，另一個系統同時使用定量數據和收集人們的意見(基于主觀意見的指標)，因此，ARWU和QS的結果是所研究的全球排名中重疊程度最低。另外THE的聲譽指標來自“愛思唯爾”獲得的個人受訪者數據，U.S.News排名的聲譽指標由“科睿唯安”(Clarivate)2017—2021年學術聲譽調查結果匯總而成的。

其他指標數據來源不同。ARWU只使用來自開放資源的定量數據，如教師數來自各國的教育部、國家統計局和大學校長協會等，而QS收集來自大學本身的關鍵數據(整體及國際學術教職員工和學生的數量)，并從統計問卷中收集人們的觀點，THE排名的數據則可以由機構自行提交。

規范化標準不同。N.S.News全球最佳排名的學?？偡謹凳歉鶕琶惺褂玫?3項指標的權重和標準正態化z分數綜合計算得出的。THE和QS對大學規模的科研績效指標進行了標準化處理，而軟科則使用了原始數據(按和最高的得分計算比例)。

(四)對引文的學科差異處理方式不同

不同學科的出版物和引用數據差異很大，在硬科學中，引文分析的使用已經得到了認可，然而，在軟科學中，引文和績效之間的關系卻不太清晰。這有很多原因：首先，與硬科學不同，軟科學的期刊文章往往不是研究的主要傳播方式，文章的被引用率可能很低；其次，在社會科學和經濟及商業領域。當一個學者引用另一部著作時，常常會引起爭論或討論，這與自然科學相反。在自然科學中，引用另一部著作的理由通常是效用或影響。以數學學科為例，雖然期刊文章是主要的交流方式，但與其他領域相比，期刊文章的被引時間往往較長，數學論文的整體被引率也往往較低。各個排行榜對于該情況都有各自的處理方式，這也是導致排行榜結果差異的原因之一。

軟科排名中對于學術研究成果的指標占比較大，考慮到社會科學的學者相對于其他領域的學者來說，其學術成果常通過著作等形式來體現，于是對于社學科學領域在SSCI收錄的論文賦予兩倍的權重。

U.S.News排名分析中使用的學科領域來自科睿唯安的學科分類，考慮到藝術和人文學科的特點，在基于引文的指標統計中不包括在藝術和人文學科期刊上發表的文章，但來自藝術和人文期刊的文章有被納入“論文發表”指標的統計中。這是因為由于不同學科領域的不同出版特點，藝術和人文期刊的引文積累較少，引文分析不夠穩??；因此，U.S.News刻意排除藝術和人文學科可以提高結果的穩健性。

THE排名對于不同學科的特點，在排名中可能造成的差異，所采取的整體方法是根據學科仔細重新校準，改變權重以最適合各個領域。特別是，研究指標的權重的修改，以更緊密地貼合每個學科的研究文化，反映出不同的出版習慣。例如，在藝術和人文領域，產出范圍遠遠超出同行評議期刊，因此對論文引用的權重較低。相應地，給予“引用：研究影響”的權重從總體排名的30%減少了一半，藝術和人文學科的權重僅為15%。更多的權重被賦予了其他研究指標，包括學術聲譽調查。在社會科學和法律領域，人們也不太相信僅僅將引文的強度作為研究的指標，衡量的權重降低到25%。教育、工程和計算機科學的權重也降低到27.5%。出于同樣的原因，在那些絕大多數研究成果來自期刊文章、對引文數據強度有高度信心的學科中，THE排名增加了研究影響的權重，如物理、生命科學、心理學以及臨床和健康等學科權重高達35%。

QS世界大學排名采用了每個教員的引文指標(Citations per Faculty)，為了克服出版統計在某個專業領域嚴重傾斜的情況(例如，物理出版在歷史上的主導地位)。這種方法的目標是推導出“Normalized Total Citation Count(NTCC)標準化總引用計數”。主要的方法是簡單地平衡在學術聲譽分析中已經部署的相同的5個教員領域的影響：藝術與人文、工程與技術、生命科學與醫學、自然科學、社會科學與管理。不同學科領域的引文分布是不平衡的現象，如果不進行這一調整，將導致引文指標得分以及最終的整體排名將更傾向于強調科學的機構。

六、分析與討論

綜上可知，一方面認識到排名結果不一致是排行榜的方法差異所致；另一方面也使排行榜使用者了解不同排行榜評價的內容側重點，認識到排名結果并不是都像其宣稱的是大學整體質量的衡量。雖然4個排行榜都對同一所大學進行評估和排名，但它們使用的排名標準有很大的不同，導致排名結果存在差異。因此，公眾在使用排行榜之前，還是應該首先了解排名指標體系及方法的區別，從而解讀排名。如Cakir等(2015)從排名指標、覆蓋范圍和排名結果等方面，對國內和全球大學排名系統進行了全面系統的比較，他們注意到，各國大學排名有大量主要集中于教育和制度措施的指標，而相反全球排名的關鍵特征是專注于科研指標[21]。因此，如果使用排行榜的目的是選擇留學學校，關注的是學習成效，需要了解排名指標體系是否反映教學教育質量。雖然軟科排名基本上是一個研究水平排名，U.S.News其實也明確是研究型大學比較，而QS以及THE宣稱加入教學質量的衡量，但四個排行榜都被廣泛解讀為大學排名，排名使用者在引用排名時通常沒有加以區別。

大學在不同排行榜位次的變化本身就說明，如果公眾要把排行榜作為大學質量水平的唯一衡量標準就值得商榷，如果確實是唯一標準，則不應有如此巨大的差異，所以本文對不同大學排行榜的相似度進行定量比較的基礎上，通過對指標體系和排名方法的定性分析說明差異的原因，在下一步的分析研究中將對排名指標數據進行定量分析，通過因子分析提煉評價指標體系衡量的維度，揭示排行榜評價指標體系衡量的主要方面，進一步探討現有世界大學排行榜能否真正提供利益相關各方所關心的關于世界高等教育質量水平的可靠信息，進一步驗證排名方法的合理性。

大學的使命、概況以及它們所處的環境是極其多樣化的，大學之間的質量差異是一個長期的歷史過程的結果，是科學習慣的差異和不同的制度背景的結果，因此不可能把一所大學或一個系的“質量”降低到一個數字或幾個標準。一所大學在不同的排名中可能會取得不同的結果，這取決于排名的具體目標和方法。比較不同的結果可以為大學在各自的高等教育系統中的地位提供一個更全面的認識。因此，未來的學生以及任何其他排名信息的“用戶”在可能將其納入考慮之前，需要謹慎地解讀排名，并了解每個排名背后的方法是否準確反映大學真實實力和文化底蘊。而對大學而言，大學排行榜其實是對大學的一種社會評價，大學可以把大學排名作為學校辦學的參考，從中分析辦學的進展，存在的不足與問題，但不能“唯排名論”，這才是理性對待大學排名的方式，實現大學高質量發展還需進一步加強大學的專業化評價。