?

基于范式識別的科學評價新趨向論析

2024-05-02 11:36周文杰
新文科理論與實踐 2024年1期
關鍵詞:共詞分析科學評價

摘要:傳統科學評價方法存在引文依賴、重論文數量而輕質量、時效性差等諸多局限,面對大數據和人工智能技術的蓬勃發展,科學評價亟待實現新的轉向。由科學哲學家托馬斯·庫恩圍繞科學革命的結構所發展的“范式”理論為科學評價的新轉向提供了重要的理論依歸。具體而言,在常規科學時期,科學評價者基于大數據技術而全景式揭示科學世界的結構,并通過識別研究者的位置而判斷其學術貢獻;在科學革命時期,通過定位研究者在范式轉換中所發揮的作用,則可對其學術貢獻作出評判??茖W評價走向范式識別兼具必要性和可能性,而新興的共詞分析等方法則為基于范式識別的科學評價落地提供了條件。展望未來,全景式、多模態、動態式、歷時性、循證式的科學評價已漸成主流,科學評價將在引領科學事業的創新發展方面發揮越來越重要的作用。

關鍵詞:科學評價;范式識別;共詞分析;大語言模型

DOI: 10.20066/j.cnki.37-1535/G4.2024.01.09

基金項目:本文系國家自然科學基金項目“循證信息貧困研究”(72374170)的階段性成果。

一、引 言

科學評價的本質是要衡量研究者或具體研究成果在科學體系中所作出的實質性貢獻。自20世紀60年代尤金·加菲爾德(Eugene Garfield)創立美國科技信息研究所(Institute for Scien? tific Information,ISI)并發展了科學引文索引(Science Citation Index,SCI)和社會科學引文索引(Social Sciences Citation Index,SSCI)評價體系以來,引文分析一直是傳統科學評價的主流指標。引文分析法通過統計研究論文被引用的次數來評估其影響力和重要性,其評價結果雖然對于識別重要研究者和研究成果具有一定的參考價值,但也存在諸多局限。隨著大數據與人工智能技術的發展和大規模語言模型的興起,科學評價正逐漸走出引文分析的桎梏,轉向更全面和多維度的考量。

新興信息技術可以更全面地了解研究者和研究成果在科學界的影響力,從而為科學評價的全面創新提供契機。特別值得注意的是,大數據和大規模語言模型使研究者之于“范式”形成與轉換的實際貢獻的識別成為可能?!胺妒健保≒aradigm)是科學哲學家托馬斯·庫恩(Thomas Kuhn)在其名著《科學革命的結構(The Structure of Scientific Revolutions)》重點闡釋的概念,指“科學共同體在特定時期所共享的普遍認知和共識,包括基本理論、假設、方法、實驗規范以及問題解決方式等”①。由于范式的形成和轉換是科學進步的重要標志,因此,研究者可以通過分析大規??茖W文獻數據集并運用先進的語言模型,更好地追蹤和評估研究者在范式形成與轉換中的作用,從而對研究者、研究機構或研究成果在科學領域的實際貢獻作出客觀評判。

總之,以引文分析為主體的傳統科學評價指標雖然在過去起到了重要的作用,但隨著大數據和大規模語言模型的應用漸成主流,科學評價亟待轉向和創新。本研究旨在對范式理論加以解讀的基礎上,解析傳統科學評價指標的局限,結合筆者在前期針對共詞分析展開的系列研究,深入闡釋科學評價走向范式識別的可能性及其路徑。

二、科學革命的結構與范式理論

托馬斯·庫恩(Thomas Kuhn)提出,科學的發展并不是線性的逐漸的累積過程,而是經歷了革命性的轉變。在科學革命的過程中,存在兩種不同的科學階段,即“常規科學”階段和“革命性科學”階段①。在常規科學階段,科學家們工作在一個共同認同的理論框架或者范式下。此時的范式被認為是解決問題、解釋現象和開展研究的共同準則??茖W家通過正??茖W的活動,進行問題解決、實驗驗證、數據收集,以進一步發展和完善既有的范式。然而,隨著時間的推移,某些問題和現象可能會出現與當前范式不相兼容,從而依靠現有邏輯無法解釋的情況。這些異常和矛盾會逐漸積累,最終導致科學界的危機。在這個時候,新的理論和范式可能會出現,并被一些先鋒科學家所接受和推崇。當新的范式逐漸取代原有的范式,科學革命就會發生,科學的結構從而將發生根本性的變化。顯然,無論是在正??茖W階段還是科學革命階段,識別研究者、研究機構和研究成果在整個科學圖景中所處的位置,對于準確判斷其科學貢獻具有重要的啟示意義。

在常規科學時期,由于科學共同體達成了科學共識并具備統一的認知基礎,因此,科學研究議題穩定且方法通用,科學領域整體上呈現出一個平衡有序的局面。此時,由于存在一個穩定的科學“全景圖”,因此,科學評價者只要有效識別每個個體研究者、研究機構或研究成果在這幅全景圖上的位置及其作用,即可判斷其貢獻。

在科學革命時期,由于科學領域發生了根本性變革,舊的科學觀念和范式被取代,新的科學范式得以確立,因此,科學觀念、理論和方法也將隨之發生徹底轉變。范式轉換(Paradigm Shift)正是這樣一個用來描述科學革命行將發生或已經發生的重要術語,意味著科學共識和科學共同體整體認知的根本性改變。在科學革命的萌芽階段,隨著范式轉換的醞釀,一些先兆性的因素常常開始露出端倪。例如,新的理論、方法與工具開始涌現,舊的科學觀念、理論和方法面臨根本性挑戰。而在科學革命發生的過程中,范式轉換的特征體現得更加明顯,新的理論、方法和工具開始以摧枯拉朽的態勢占據科學研究的主流。無論是在科學革命的萌芽時期還是發生時期,科學評價者只要能捕捉到范式轉換的蛛絲馬跡,則完全可能循著這些線索,找到科學革命的策源者、驅動者和集大成者。也就是說,通過定位研究者在科學革命中的實際位置,則可以確定其研究工作之于科學發展的實際貢獻,據此而使科學評價回歸到本真。

庫恩的范式理論甫經問世,就得到了科學界的廣泛關注。當然,學界對于庫恩的理論也存在不同的評價。一些研究者認為,庫恩的科學革命理論深刻地揭示了科學發展的非線性和不確定性特點,對科學哲學產生了深遠的影響。然而,也有研究者對庫恩的理論提出了批評。其中一些批評意見主要集中在庫恩對科學進步的解釋和科學發展的趨勢性問題上。一些學者認為,庫恩過于強調科學革命的不可預測性和相對性,忽視了科學發展中的一些穩定和持續的趨勢。雖然存在上述爭論,但從科學評價的角度看,這些爭議都不會對基于范式理論而展開的科學評價的合理性產生影響。簡言之,以范式理論為基礎,構造新的科學評價體系,既能夠克服傳統科學評價的局限,又具有非常緊迫而重要的時代意義。

三、亟待轉向的科學評價

(一)傳統科學評價方法的局限

傳統科學評價方法存在多方面的局限,從而使科學評價結果的準確性、客觀性和科學性存疑。具體表現在:

第一,傳統科學評價方法主要依賴于引文分析,即通過統計論文被引用的次數來衡量其影響力和重要性。然而,引文分析可能受到領域偏見的影響,某些研究領域可能引用率較高,而其他重要但較小眾的領域則可能被忽視。

第二,傳統科學評價方法通常傾向于重視論文的數量,即發表的論文數量和被引用的次數。這可能會鼓勵研究者追求數量而忽視質量,從而產生大量低質量的論文。

第三,傳統科學評價方法主要關注學術論文的發表和引用情況,忽視了其他類型的學術貢獻,如開發開源軟件、參與學術社區的服務和領導,以及對公眾科學傳播的貢獻等。

第四,評價指標往往在一段時間之后才能反映出研究的影響力和貢獻,從而具有滯后性??茖W研究可能需要數年甚至更長的時間來展現其實際價值,因此,在科學家的評價中,很難及時反映他們的最新貢獻。

第五,傳統科學評價方法往往忽視學術合作和交叉學科的貢獻。事實上,科學家之間的合作能夠帶來創新和跨學科思維,但這些方面在傳統評價中并未得到充分考慮。

第六,在傳統評價方法中,評委或決策者的主觀因素可能會影響評價結果。不同的評委可能會根據自己的標準和偏好做出不同的評價,缺乏統一的標準和客觀性。

正是由于傳統的科學評價存在上述局限,科學界急切呼喚新的、更加全面客觀的評價方式和評價指標。面向研究范式識別的科學評價,正是對這種趨勢的最新響應。

(二)科學評價走向范式識別的必要性和可能性

1.可能性。范式理論和全景式科學領域的整體呈現為科學評價帶來了新的可能性,使得科學評價不必再局限于傳統的引文分析方法。范式理論強調科學共同體及與之關聯的共同認知、約定俗成的學術規范及相對統一的方法與工具的重要性。在科學發展的過程中,范式作為一種基本的理論框架或模式,指導著科學家對研究方法和問題的選擇。簡言之,科學共同體是一群共享共同范式的科學家,他們共同構建知識,并通過對話和批判來推動科學的進步。范式理論強調科學知識是由特定的社會和歷史背景塑造的,不同的范式和科學共同體會產生不同的科學知識。

從本質上說,科學評價是一個識別出研究者、研究機構和具體研究成果在范式的形成和發展中發揮實際作用的過程。在此過程中,構建科學領域的全貌,全景式地將研究議題、研究者、研究機構相關聯并將其內在特征呈現出來是一個關鍵環節。全景式科學領域的整體呈現意味著將科學研究看作一個復雜的生態系統,這是一個綜合的、多樣化的整體,包含多個相互關聯的領域和學科。通過對科學領域的全景式呈現,科學評價者的視野將不再局限于某個狹窄的領域,從而獲取更加寬廣、更加全面的認識。

總之,范式理論和全景式科學領域的整體呈現為科學評價提供了新的選擇和契機。在此前景下,科學評價將不再僅僅依賴于引文分析,而是更加關注科學的范式、科學共同體和全局性的視野??茖W評價可以更多地考慮研究的質量、實際影響和創新性,而不僅僅是簡單地計算引用次數。這種全面性的科學評價有助于推動科學的發展和進步,促進不同領域之間的交流與合作。具體而言,走向范式識別的科學評價具有如下優勢:

更全面的貢獻評估?;诜妒阶R別的評價方法能夠綜合考慮研究者在學術界的地位、學術合作網絡、研究領域的重要性等多個方面。這樣的綜合考慮能夠提供更全面和多維度的貢獻評估,不僅僅局限于引用次數或論文數量等傳統指標。

重視學術轉變和創新。范式識別強調科學發展中的轉變和創新。研究者在范式轉換中的作用可能比僅僅在一個范式內的貢獻更為重要。因此,通過范式識別,能夠更好地評估研究者的開創性工作和對學科發展的推動作用。

關注學術合作?;诜妒阶R別的評價方法考慮學術合作的重要性,這有助于準確評估研究者與其他學者之間的合作網絡,進一步了解其在學科中的地位和影響力。

2.必然性?;诜妒阶R別而實現科學評價不僅具備上述可能性,也具有一定的必要性,具體表現在:

第一,隨著科學研究領域的交叉和融合,傳統的評價方法可能無法準確評估這些新興領域的貢獻。而范式識別考慮了學科的交叉和綜合性,有助于評估研究者在這些新領域中的作用。

第二,傳統評價方法在某些情況下可能會產生不當的激勵機制,導致科學家追求短期產出或數量而忽視長期價值和創新?;诜妒阶R別的評價方法能夠更加關注科學的長遠發展和重要的理論突破,為推動科學發展提供更合理的激勵。

第三,科學研究的發展并不是線性的,而是在不斷變化和演進中的。范式的形成和轉換是科學進步的必然過程。因此,基于范式識別的評價方法能夠更好地反映科學發展的實際情況。

如上所述,基于范式理論而走向基于整體科學圖景的研究者實際貢獻識別,已漸成數智時代科學評價的主流。在諸多繪制科學圖景的方法工具中,共詞分析因直接應用自然語言處理的方法,且能夠與大語言模型相對接,從而更具可操作性。

四、基于共詞分析研究范式識別

(一)基于共詞識別研究范式的原理

基于共詞識別研究范式是一種有前景的科學評價方法,它通過挖掘文獻中的詞語共現現象,從而識別學術領域內的范式,即學科中被廣泛接受和采用的核心理論、方法和概念。這種方法對于深入了解學科的結構、發展和研究趨勢具有重要意義,能夠幫助科學家和學術界更準確地評估研究者和研究成果的貢獻。

基于共詞識別研究范式的優勢在于:其一,多維度視角。共詞識別方法通過對文獻中的共現關系進行分析,能夠從多維度角度揭示學科的知識結構和學術發展趨勢,追蹤學科的演變過程。其二,揭示新領域和創新方向。這種方法能夠發現學科內的交叉融合現象,識別出新興領域和具有創新性的方向,幫助科學家把握學科發展的先機。其三,對學術合作的重視。共詞識別方法不僅關注獨立的概念和方法,還能分析學術合作中的共現關系,從而更全面地評價科學家在合作中的貢獻。

(二)共詞分析的科學性評價

既然共詞分析是識別研究范式的一種重要方法,那么,科學評價者需要關注的一個基本問題是,共詞分析本身是否具有科學性。對于共詞分析科學性的評價,筆者在所主持的國家自然科學基金項目中,通過信度和效度兩個指標進行了深入研究。

信度和效度是評價測量指標科學性的基本工具。信度(Reliability)指測量工具的穩定性和一致性,即在相同條件下,重復使用該工具是否能夠得到相似的結果。效度(Validity)指測量工具是否能夠真實、準確地衡量所要測量的特征或現象,評估測量工具是否有效地反映出所研究的概念,即工具是否在理論上和實際應用中都能夠測量到所關注的內容。

在前序研究中,筆者所在研究團隊從研究熱點識別、研究領域聚合和研究前沿預測三個方面,應用信效度檢驗的理論與方法,對共詞分析的科學性進行了系統檢驗。

就研究熱點的識別而言,前序研究發現,以關鍵詞為分析單元而識別的研究熱點的表面效度最低,而基于全文而識別的研究熱點表面效度最高;以復合型指標(算法)識別的研究熱點表面效度較高,而以單一型指標(算法)識別的研究熱點的表面效度較低①。關鍵詞在研究熱點識別中內容效度較低,存在一定效度風險;從綜合指標來看,基于題名、全文和摘要而識別的研究熱點具有相對較高的內容效度②?;谡R別的研究熱點同時效度最高,而基于關鍵詞所識別的研究熱點同時效度相對較低;文本比詞的同時效度高,而且文本的長度對于同時效度有著一定影響③。

就研究領域的聚合而言,前序研究發現,關鍵詞在研究領域聚合中具有相對最高的表面效度,摘要和題名的效度則相對較低。同時,研究也發現,科學計量領域現有聚類指標和工具所聚合的研究領域缺乏區分能力,且各種指標均存在著一定的效度風險④。

就研究前沿的預測而言,前序研究發現,基于全文而探測到的研究前沿表面效度最高,基于題名和關鍵詞而探測到的研究前沿則表面效度很低。此外,基于摘要而探測到的研究前沿的表面效度具有不穩定性,因此摘要在研究前沿探測中的價值存疑①。同時,針對共詞分析在研究前沿預測中的效標關聯效度,前序研究也發現:首先,無論基于標題、摘要、關鍵詞還是全文等何種分析單元,基于爆發詞進行研究前沿的預測都存在一定的效度風險;其次,相對而言,全文在研究前沿預測中的效度最高,而題名、摘要和關鍵詞的預測效度則受到語料數量的影響;第三,如果以不同單項指標(算法)所識別的研究熱點為效標,基于不同分析單元所探測的研究前沿存在著效度不一致的情況②。

綜上所述,前序研究已經從熱點識別、領域聚合和前沿預測三方面對共詞分析的科學性展開了系統評價。由于這三個方面在很大程度上反映了對整體科學圖景加以深度分析的科學性和可能性,因此,前序研究的展開為基于共詞分析展開研究范式識別進而實現科學評價目標奠定了基礎。這些研究雖未能解決基于研究識別而展開科學評價的所有問題,但代表了一種更為全面的研究新趨向。

五、基于范式的科學評價新趨向

(一)基于范式特征揭示的全景式評價

基于范式的科學評價是一種更為全面和多維度的科學評價方法,它通過揭示不同范式特征和全景式評價的方式,為科學評價的未來走向提供了許多有意義的展望和可能性。

第一,基于范式特征揭示的全景式評價具有多樣性和全局性視野?;诜妒降目茖W評價將不同科學范式和學科領域的研究納入考量,實現了全局性視野。這種評價方式能夠識別不同范式和學科的優勢與特色,促進跨學科交流與合作。未來的科學評價將更加關注整體和多樣性,鼓勵跨學科研究,從而促進科學的整體進步。

第二,基于范式特征揭示的全景式評價能夠實現對知識生態系統的理解。范式的概念強調了科學知識是在特定社會和歷史條件下形成的,科學研究是一個生態系統。未來的科學評價將更注重了解知識生態系統中不同范式和學科的相互關系,深入研究不同范式之間的交互作用和知識傳播過程。

第三,基于范式特征揭示的全景式評價更關注科學價值和社會影響?;诜妒阶R別的科學評價能夠更綜合地考慮科學研究的價值和實際影響。未來的科學評價將更關注科學研究對社會和人類福祉的貢獻,包括解決現實問題、推動科技進步、促進社會發展等方面的影響。

第四,基于范式特征揭示的全景式評價更具有創新性和開放性。范式的概念鼓勵創新和開放性的科學研究。未來的科學評價將更加重視創新性研究和開放性科學實踐的價值,鼓勵科學家嘗試新的研究方法和理論框架,推動科學的不斷發展。

綜上所述,基于范式的科學評價新趨向將引領科學評價走向更為綜合、全局和價值導向的方向。未來的科學評價將更加重視多樣性和全球性視野,深入理解知識生態系統和科學研究的社會影響,鼓勵創新和開放性的科學實踐,以及強化科學倫理和社會責任。這將為科學評價提供更廣闊的空間,促進科學的發展和社會的進步。

(二)基于范式結構描述的多模態評價

基于范式識別的科學評價是一種多模態的綜合評價。這種評價方法通過關聯分析不同模態的數據,來確認具體研究者在科學范式結構中的作用,從而評價研究者貢獻的大小。這種評價方法可以綜合考慮詞語、作者、機構等多個維度的信息,從而更全面地評估研究者的學術貢獻。

從詞語模態來看,可以通過對研究者的論文題目、摘要、關鍵詞及全文等進行分析。通過對詞語的關聯分析,可以將研究者的研究興趣與特定的科學范式相聯系,從而確定其在范式結構中的位置。

從作者模態來看,涉及到對研究者的學術合作網絡進行分析。通過研究者與其他學者的共同發表論文情況,可以了解他們在科學共同體中的影響力和地位。同時,作者的合作關系也能反映出研究者在范式結構中的交流和合作程度。

從機構模態來看,考慮了研究者所屬的研究機構或學術單位。不同機構可能在特定領域有不同的優勢和特色,通過對研究者所屬機構的研究產出進行分析,可以評估其在特定范式中的貢獻。

總之,通過將詞語、作者和機構等不同模態的信息進行關聯分析,可以綜合判斷研究者在科學范式結構中的地位和貢獻。比如,一個研究者在特定領域的論文涉及到頻繁出現的關鍵詞,同時與其他有影響力的作者和機構有密切合作,這就表明該研究者在該范式中的貢獻較大。相反,如果一個研究者的研究領域與特定范式不太相關,或者合作網絡較為孤立,那么他的貢獻可能相對較小。

這種多模態評價方法可以為科學評價提供更全面、客觀和準確的信息,有助于辨識出具有重要學術貢獻的研究者,促進科學共同體的發展和創新。同時,它也有助于發現潛在的研究合作機會,推動跨學科交流和合作,促進科學知識的整合與創新。通過更全面地了解研究者在范式結構中的地位和貢獻,科學評價能夠更客觀、公正地評估研究者的學術價值,并為學術界提供更有針對性的發展指導。

(三)基于范式轉換識別的動態式評價

基于范式識別的科學評價還能夠與時間維度相疊加,實現動態式評價。具體而言,基于范式轉換識別的動態式科學評價是一種基于范式轉換理論的評價方法,旨在通過對科學革命時期的重要研究者和研究成果進行識別,突出發現和評價標志性科學成果的貢獻,從而實現科學評價者對研究者實際貢獻予以甄別的目標。根據范式理論,在范式轉換的過程中,標志性科學成果和貢獻尤其重要。

在動態式科學評價中,評價者將重點放在科學革命時期的研究者和研究成果上,因為科學革命是科學發展中最顯著的時期,其中涌現出許多具有重要貢獻的科學成果。評價者通過對這些科學革命時期的研究者和成果進行深入分析,識別范式轉換的過程,從而理解和評價這些研究者的實際貢獻。

在范式轉換的過程中,科學范式會因為新的理論、觀念和實踐的出現而發生改變。評價者通過研究者在范式轉換時的行為和思想變化,識別他們在科學進步中的作用。例如,在范式轉換時,研究者可能提出新的理論或觀點,解決了以前范式無法解釋的問題,或發現了新的實驗結果,從而推動了科學的進展。這些標志性的科學成果和貢獻將被評價者重點關注和突出評價。

綜上所述,基于范式轉換識別的動態式科學評價通過對科學革命時期的重要研究者和研究成果加以識別,突出發現和評價標志性科學成果的貢獻,實現科學評價對研究者實際貢獻予以識別的目標。評價者通過分析范式轉換的過程,識別科學革命時期的重要貢獻,從而為科學發展和進步提供有針對性的評價與指導。

(四)基于范式演化規律的歷時性評價

基于范式演化規律的歷時性評價是一種根據科學領域的范式演化過程,沿著時間線索對研究者的貢獻進行評價的方法。這種評價方法將研究者的貢獻與科學領域的范式演化相聯系,從而全面地理解他們在科學領域萌芽、發展、成熟和轉型過程中的作用。

在范式演化萌芽階段,也就是新興科學領域的萌芽期,可能出現一些具有先鋒意義的研究者,他們在范式形成初期提出了一些新的理論或觀點。歷時性評價可以追溯到這些先驅研究者,評價他們在范式形成初期的貢獻,以及對新范式的發展產生了哪些重要影響。

在范式演化發展期,也就是科學領域逐步趨于穩定的時期,可能涌現出一批重要的研究者,他們在范式發展階段作出了深入的研究和貢獻。歷時性評價可以考察這些研究者的學術成果,分析他們在范式演化過程中的地位和影響力。

在范式演化成熟期,可能形成多個主流范式,各自具有一定的研究群體和學術傳統。歷時性評價可以關注這些主流范式的代表性研究者,評價他們在范式的發展和鞏固過程中所起的作用。

在范式演化轉型期,可能出現范式的變革和重大的學術轉折。歷時性評價可以審視這一時期的研究者,評估他們在范式轉型和新范式建立過程中的貢獻與影響。

在基于范式識別而進行歷時性評價時,還可以結合研究者的學術合作網絡、研究產出和學術聲譽等信息,對研究者的貢獻進行全面的考量。同時,要將研究者的貢獻與當時的學術背景、社會環境和科技水平相聯系,以更好地理解他們在范式演化過程中的作用。

總之,歷時性評價的目標是全面地評估研究者在科學領域的發展中的實際貢獻,幫助科學界更好地理解科學發展的歷史軌跡和學術傳承。通過這種評價方法,可以發現和挖掘那些在范式演化過程中具有重要貢獻的研究者,為科學領域的發展與進步提供寶貴的參考和啟示。同時,歷時性評價也有助于認識到科學發展是一個漸進的歷史過程,不同研究者在不同時期所作出的貢獻都是推動科學進步的重要力量。

(五)基于范式內核要素的循證式評價

楊克虎提出,科學的本質是尋找證據,而科學評價的本質是對科學證據的質量與貢獻加以評價①。在科學領域,任何證據都體現在科學文獻中,因此,本研究前序部分即基于全景式科學領域呈現而識別研究貢獻的科學評價思路,是一種對證據形式特征的展現?;诜妒絻群艘氐难C式科學評價主要強調通過元識別原始證據的偏倚,尋找真實效應值,從而使科學評價回歸到對科學證據本身加以評價的“本真”。這種評價方法注重對科學研究的核心證據和關鍵數據進行全面、系統的分析,以確保評價的可信度和準確性。

在基于范式內核要素展開循證式科學評價過程中,元分析(Meta-analysis)是關鍵步驟之一。評價者應用元分析方法和工具,通過對多個獨立研究的結果進行綜合和整合,得出一個總體效應的估計值。在元分析過程中,評價者收集多個獨立研究的原始數據,然后對這些數據進行統計分析。通過元分析,可以減少小樣本研究的偶然性誤差,得出更可靠的效應估計。同時,元分析還可以檢測研究之間的異質性,幫助識別潛在的偏倚因素。

基于范式內核的循證式科學評價強調對研究的偏倚進行識別和糾正。評價者會注意研究設計、樣本選擇、數據分析等方面是否存在偏倚的可能性。例如,若某研究設計存在選擇性報道,只選擇公布符合預期結果的部分數據,就會導致結果的偏倚。通過元分析和系統評價,可以識別并排除這些偏倚,使得評價結果更加客觀和可靠。

基于范式內核的循證式科學評價的根本目標是尋找真實效應值。通過元分析得出的總體效應估計值,通常被認為是更接近真實效應的估計。通過對多個獨立研究的數據進行整合,元分析能夠減少個別研究的誤差和隨機波動,提高效應估計的準確性。尋找真實效應值是循證式科學評價的目標之一,確保評價結果更加客觀和可靠。

總之,基于范式內核要素的循證式評價強調對科學證據本身的評價,以避免主觀偏見或其他干擾因素的影響。這種評價方式通過元識別原始證據的偏倚,尋找真實效應值,從而使科學評價回歸到對科學證據本身加以評價的“本真”,由此而有助于提高科學評價的準確性和可信度,確保評價結果更為客觀和全面。

六、小 結

在中國式現代化進程中,科學技術的持續發展和創新是至關重要的??茖W評價的轉型對于引領未來中國科學發展進程具有重要意義。隨著中國科技事業的迅速崛起,科學評價面臨著新的挑戰和機遇。傳統的科學評價方法由于難以全面準確地評估中國科學研究的特點和成果,因此需要進行轉型和創新。事實上,不僅是在自然科學領域,即使在社會科學甚至在人文領域,基于結構化的資源基礎而展開科學評價也具備了一定的可行性①。

本研究通過對科學評價領域研究成果的梳理和分析,評估了傳統科學評價方法中存在的過度依賴引文分析,忽視科學研究背后的范式演化過程,以及對研究者真實貢獻的全面考量等不足之處。為了解決這些問題,本研究提出了基于范式識別展開科學評價的五個維度即范式內核要素、范式轉換識別、多模態評價、歷時性評價和循證式評價。

本研究為后續研究提供了理論準備和邏輯前提。在未來的科學評價研究中,可以深化范式內核要素的研究,加強范式轉換識別方法的應用,拓展多模態評價的數據來源和分析手段,推動歷時性評價的實踐,以及加強循證式評價的方法和技術。通過不斷探索和創新,可以進一步提高中國科學評價的質量和水平,為中國式現代化進程中科學技術的發展提供有力支持。

[責任編輯 賈樂耀]

① Thomas Samuel Kuhn, The Structure of Scientific Revolutions (Chicago: University of Chicago Press, 1962).

① 周文杰、高沖:《共詞分析識別研究熱點的表面效度研究:基于自然語言處理》,《高校圖書館工作》2018年第2期,第3―11頁。

② 李承晉、高沖、周文杰:《共詞分析識別研究熱點的內容效度研究:基于自然語言處理》,《圖書與情報》2018年第1期,第8―14+27頁。

③ 楊麗、張彤彤、周文杰:《共詞分析識別研究熱點的效標關聯效度研究:基于自然語言處理》,《圖書與情報》2018年第1期,第15―19頁。

④ 周文杰、張彤彤、高沖:《共詞分析聚合研究領域的表面效度研究:基于自然語言處理》,《高校圖書館工作》2018年第2期,第12―16頁。

① 周文杰、張彤彤、高沖:《共詞分析預測研究前沿的表面效度研究:基于自然語言處理》,第17―21頁。

② 周文杰:《研究前沿探測的效標關聯效度研究:基于自然語言處理》,《圖書與情報》2018年第1期,第1―7頁。

① 楊克虎:《科學評價亟待回歸“循證本真”》,《中國社會科學報》2023年8月4日,第4版。

① 周文杰:《知識資源的序化與數字人文的結構化知識資源基礎——基于知識地圖和認知結構學說的解析》,《情報資料工作》2020年第6期,第79―87頁。

猜你喜歡
共詞分析科學評價
初中數學互動教學初探
論文層面指標ALMs)計量理論發展及實踐探索
基于德溫特數據庫的關鍵共性技術分析
國內圖書館嵌入式服務研究主題分析
基于文獻計量分析我國生物科學素養研究狀況(2001~2016年)
基于知識圖譜的智慧教育研究熱點與趨勢分析
寓教于樂,打造快樂而有效的小學信息技術教學
小組合作學習在數學課堂中的踐行研究
基于共詞分析的近年國內O2O研究主題分析
國內移動用戶行為研究熱點與前沿
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合