高校圖書館科研數據管理服務能力評價指標體系研究

胡 媛，鄒小敏，謝守美 （.南昌大學公共政策與管理學院；.黃岡職業技術學院圖書館；.中南民族大學圖書館）

大科學時代，科研數據管理與共享成為大勢所趨。然而，密集而繁雜的科研數據是十分脆弱的，極易損壞甚至消失。因此，對科研數據進行有效的管理和共享，不僅可以保存和檢驗數據，還極有可能促進數據重用，發揮其更大的研究價值。圖書館作為文獻管理和信息組織機構，在科研數據管理服務領域具有不可替代的優勢。自2011 年“數據監護”概念進入圖書館界后，圖書館開始涉足科研數據管理與服務，當前階段科研數據管理服務已廣泛開展，因此，構建高校圖書館科研數據管理服務能力評價指標體系有助于明確高?？蒲袛祿芾矸盏恼w發展水平，促進高?？蒲袛祿芾矸漳芰μ嵘?，完善高校數據安全治理體系［1］。本文通過分析和梳理相關文獻，構建高?？蒲袛祿芾矸漳芰υu價指標體系，以期為我國高?？蒲袛祿芾矸漳芰υu價的開展提供更多的選擇，促進高?？蒲袛祿芾矸障蛑右幏?、更加科學的研究方向發展。

1 高?？蒲袛祿芾矸漳芰υu價研究現狀

科研數據管理服務評價對象涵蓋科研數據、科研數據基礎設施、科研數據管理服務?？蒲袛祿父咝祿行拇鎯Φ目蒲袛祿|量、元數據質量等是否達到相關標準，數據引用、使用、存儲等是否符合相關規范?？蒲袛祿A設施指高校是否具備能夠開展科研數據管理的基礎設施，是否具備專業的平臺、工具和軟件等?？蒲袛祿芾矸罩父咝D書館是否具備開展科研數據管理服務的制度、組織、技術保障能力，是否開展數據管理計劃、數據咨詢、數據素養教育、數據分析、數據生命周期管理、數據安全管理等服務內容。

高?？蒲袛祿芾矸漳芰υu價主要圍繞服務內容評價、指標體系構建、服務能力成熟度評級等方面展開。服務內容評價大多與實踐調查相結合，從調查和比較分析的角度，對高校開展的具體服務內容進行統計和整理，總結發展經驗與問題。王曉鵬以劍橋大學為研究對象，從政策、服務模式與內容等角度分析其科研數據服務實踐情況，總結其服務模式與發展經驗［2］。周雷等以德國8 所高校為研究對象，從數據政策、運營組織、服務內容等角度進行對比分析，揭示其數據服務的特點與經驗［3］。王丹丹等以國外8 個主要科學數據管理平臺為研究對象，對其服務內容、合作交流等方面進行研究，為我國數據管理服務平臺建設總結經驗［4］。在評價指標體系構建研究方面，陳媛媛從科研數據管理教育、科研數據保存、科研數據服務過程、科研數據專業服務四個方面，構建科研數據管理服務能力分級評價指標體系［5］；司莉等從管理、資源、平臺和服務四個角度構建科研數據共享平臺績效評估指標體系［6］；丁楠等從文獻發布量、引用頻次、h 指數等角度構建數據引用評價指標體系［7］。在能力成熟度研究方面，適用于高校數據管理的有秦健教授團隊的研究數據管理能力成熟度模型和澳大利亞研究數據管理能力成熟度模型［8］。盛小平等結合能力、活動、等級三個維度，構建科學數據開放共享成熟度評價標準［9］。在構建成熟度評價模型之后，部分學者進行了相應的實證研究。Cox 等在構建覆蓋服務、結構與技能的研究數據管理成熟度模型的基礎上，對多家高校和研究機構的科研數據管理服務開展調查，對其服務成熟度進行實證評價［10］。

綜上所述，雖然已有學者致力于構建具有較強普適性和可操作性的評價體系，但是現階段國內科研數據管理服務領域尚未出現業內一致認可的評價體系，相關評價研究缺乏統一的標準。因此，構建具有普適性和可操作性的高校圖書館科研數據管理服務能力評價指標體系具有重要意義。

2 高校圖書館科研數據管理服務能力評價指標體系構建

2.1 相關指標篩選與確定

在指標維度與框架研究方面，葉繼元等從國內高校圖書館的具體實踐情況出發，結合“全評價”理論中的“三維”評價框架，從形式評價角度設置辦館支撐力（Support）指標，從內容評價角度設置管理服務力（Management）指標，從效用評價角度設置社會效應力（Effect）指標，構建圖書館質量評價SME 指標框架［11］。SME 指標框架不僅考慮國內高校圖書館服務開展程度的差異性和獨特性，而且兼顧智慧圖書館的未來發展趨勢，對于不同類型和層次的圖書館服務能力評價具有較好的適應性和包容性。由此可見，SME 指標框架可以為本文評價指標框架的構建提供良好的思路。

在數據管理服務能力成熟度模型研究方面，秦健教授團隊的研究數據管理能力成熟度模型［12］和陳媛媛提出的科研數據管理服務能力分級評價指標體系［5］頗具代表性，可為本文的形式評價與內容評價指標構建提供參考。

結合國內科研數據管理服務發展實際，發現數據管理服務大多依托于平臺展開，因此平臺績效評估相關指標可作為形式評價和內容評價的適當補充。其中，涂志芳等提出科研數據管理評價模型［13］，司莉等提出科學數據共享平臺績效評估指標體系［6］，還有國家發布的《國家科技基礎條件平臺運行服務績效考核指標》［14］，三者從不同的角度豐富了平臺績效評估指標，為本文指標構建提供了良好的基礎。

數據傳播過程中產生的影響和效益是數據管理服務的有效反饋，因此，科研數據管理服務效用評價至關重要。其中，丁楠等構建的數據引用評價指標體系［7］和王毅平等構建的影響力評價指標［15］，為本文效用評價指標構建奠定了基礎。

本文以上述指標體系中的科研數據管理相關指標為重要參照，去除其中重復或不適用于我國高校圖書館科研數據管理服務能力評價的指標，將剩余指標進行歸納整理，得到高?？蒲袛祿芾矸罩笜顺兀ㄒ姳?）。

表1 高?？蒲袛祿芾矸罩笜顺?/p>

2.2 指標體系的初步擬定

筆者梳理科研數據管理服務能力評價指標池，從形式、內容和效用三個維度初步擬定指標體系，并以北京大學圖書館開放數據管理平臺為案例對指標體系進行試評價，檢驗評價指標的可操作性和數據的可獲取性。

2.2.1 指標體系初選

筆者從國內高校圖書館科研數據管理服務實踐出發，梳理指標池中的各大指標，選取辦館支撐力、管理服務力、社會效應力搭建指標體系框架，經過適當調整得到服務支撐力、管理服務力和社會效應力三個一級指標。在此基礎上，從政策、組織、技術、經費、人員等角度，為一級指標“服務支撐力”選取政策制定、運行管理、制度落實、技術支持、基礎設施建設、成本效益、投資使用價值、條件價值、投資回報率、人員隊伍等指標，經過歸納和整理，得到政策支撐、組織管理支撐、技術設備支撐、經費資源支撐、人員智力支撐五個二級指標。從數據、教育、服務等角度，為一級指標“管理服務力”選取服務對象數量、資源增量與質量、數字素養培養、資源維護與更新、數據管理計劃服務、數據存儲與備份、元數據服務、資源服務量、數據保存服務、專題服務量、數據共享傳播服務、數據咨詢服務等指標，經過討論，得到數據標準與規范、數據資源管理、用戶素養教育、管理服務過程四個二級指標。從用戶、學術、社會、經濟等角度，為一級指標“社會效應力”選取學術影響力、用戶滿意度、社會影響力、經濟效益等指標，經過梳理和調整，得到學術影響力、用戶滿意度、社會影響力、經濟影響力四個二級指標。

明確二級指標后，立足科研數據生命周期管理，從指標池中篩選出細化的三級指標，經過小組討論、補充與調整后，得到高校圖書館科研數據管理服務能力評價指標體系（見表2）。

表2 高校圖書館科研數據管理服務能力評價指標體系

本指標體系共有3 個一級指標、13 個二級指標和38 個三級指標。其中，服務支撐力（形式評價指標）主要體現為政策、組織管理、技術設備、經費資源、人員智力；管理服務力（內容評價指標）主要體現為數據標準與規范、數據資源管理、用戶素養教育、管理服務過程；社會效應力（效用評價指標）主要體現為用戶滿意度、學術影響力、社會影響力、經濟影響力。

2.2.2 指標體系試評價

在正式發布專家調查問卷前，研究團隊選用北京大學開放數據管理平臺對指標體系進行試評價，通過檢索高校圖工委網站、北京大學圖書館網站和開放數據管理平臺，對指標數據可獲取性進行檢驗，發現大部分指標數據可從圖工委網站、圖書館網站和數據管理平臺直接獲得，少數指標可以通過案例分析進行評價，只有極少數與用戶相關的指標數據需要通過問卷的方式獲?。ㄒ姳?）。

3 運用德爾菲法修正指標體系

初步擬定指標體系后，利用德爾菲法修正指標體系，綜合本領域各位專家意見反饋，對各級體系進行修改，進而最終確定高校圖書館科研數據管理服務能力評價指標體系。

3.1 第一輪德爾菲法對指標體系的修正

為方便專家打分和提出意見，本文根據初步擬定的指標體系設計專家調查問卷，通過郵件向本研究領域的專家發送問卷，對回收的問卷進行統計分析。

3.1.1 問卷設計與收集

問卷由基本信息、指標重要性評價、自評表三部分組成。指標重要性評價部分采用李克特五級量表，分別賦予1-5 分的分值。專家自評表部分由判斷依據和熟悉程度構成，按照表3 對判斷依據進行賦值，按照表4 對熟悉程度進行賦值。

表3 專家判斷依據量化值

表4 專家熟悉程度量化值

對于本次擬調研專家的選擇，經過小組討論之后，決定以在本研究領域發表優質期刊論文為標準，在CNKI 中以“篇名and 關鍵詞= 科研數據管理+研究數據管理+科學數據管理”進行檢索，按被引排序收集相關論文通信作者的郵箱。收集到有效郵箱的通信作者，則成為本次專家調查對象。本次問卷調查歷時兩個月，從2021 年6月22 日開始通過郵件的形式向110 位專家發放問卷，截至2021 年9 月20 日回收專家問卷22 份，有效問卷22 份，問卷有效率100%。

3.1.2 問卷結果統計分析

由于某些外在因素影響，無法保證參與第一輪德爾菲專家調查的專家都繼續參與第二輪德爾菲專家調查，因此專家基本信息統計結果將在德爾菲專家調查結束后進行分析。此次只從專家自評表、指標重要性評價、專家修改意見及指標選擇等方面進行結果統計分析。

（1）專家自評表的結果分析。專家自評表主要反映參與本次調查的專家的權威程度，根據專家的判斷依據和專家對調查對象的熟悉程度進行衡量，其計算公式如下。

式中的CR為專家權威程度、Ca為專家判斷依據、Cb為專家熟悉程度。一般情況下，專家權威系數CR≥0.7，則認為調查結果可靠。針對參與本次專家調查的22 位專家，統計結果顯示21 位專家的權威系數大于等于0.7，整體權威系數均值為0.81，表明本次專家調查權威程度較高。

（2）專家指標重要性程度打分的結果分析。指標重要性程度反映專家集中程度和協調程度，用于衡量專家對于指標體系的態度和觀點的一致性程度，主要通過滿分頻率、重要性均值、標準差和變異系數等指標進行分析，計算公式如下

式中的Mi為滿分頻率，m'i為指標評分給出滿分的專家人數。

式中的Cj為重要性均值，Xij為專家i 對指標j 的評分值。

式中的Vj為變異系數，Sj為指標得分標準差，Cj為重要性均值。

專家集中程度取決于重要性均值和滿分頻率得分情況，一般情況下，指標的重要性均值大于等于3，則可以進入第二輪專家調查。本次統計結果顯示，所有指標的重要性均值大于3.36，且滿分頻率結果尚可，由此表明指標體系的集中程度較高。專家協調程度取決于標準差和變異系數得分情況，一般情況下，指標的變異系數大于等于0.25，則說明其協調程度不夠，需要修改或刪除。本次調查結果中，幾乎所有指標的變異系數均小于0.22，只有E4 經濟影響力的變異系數為0.28，而所有指標的標準差小于0.94，表明指標體系的協調程度較好。

雖然E4 經濟影響力的變異系數超過0.25，但是其重要性均值超過3，因此不宜直接刪除。經過小組討論后，決定對其指標內容進行修改，豐富其下屬三級指標，參與第二輪專家調查。

（3）專家意見及評價指標的修改。由于部分指標的表述不夠準確和明晰，因此在本次回收的22 份問卷中，有10 位專家給出指標修改意見。針對一級指標的修改意見“服務支撐力更多指服務軟實力，不能完全覆蓋其下所有二級指標”，因此在經過小組內部討論之后，將“服務支撐力”修改為“機構支撐力”。針對二級指標的修改意見，“政策支撐可以修改為政策制度支撐”“人員智力支撐可以修改為專職人員支撐”“服務管理過程可以修改為過程管理服務”，經過小組充分討論之后，決定采納上述專家的修改建議。此外，部分專家提出“組織管理支撐表意不夠清楚”“數據標準與規范和數據資源管理可能存在從屬關系”，經過小組充分討論后，決定將組織管理支撐并入政策制度支撐，將數據標準與規范并入數據資源管理。修改后的高校圖書館科研數據管理服務能力評價指標體系見圖1。

3.2 第二輪德爾菲法對指標體系的修正

3.2.1 問卷設計與收集

依據第一輪德爾菲法修正后的指標體系設計第二輪專家調查問卷，問卷設計過程與第一輪問卷設計類似。

以郵件的形式將問卷發送給參與第一輪德爾菲調查的22 位專家，進行第二輪德爾菲專家調查。本次問卷收集從2021 年10 月19 日開始，截至2021 年12 月30 日共回收有效專家問卷20 份，問卷回收率90.91%。

3.2.2 問卷結果統計分析

筆者根據本輪20 位專家調查數據，從專家基本信息、專家自評表、指標重要性評價等方面進行結果統計分析。

（1）專家基本信息結果分析。對20 位專家的年齡、工作單位性質、受教育程度、職稱和工作年限等基本信息進行統計分析，結果顯示，專家年齡分布較為平均，30 歲以下占比20%，31～40歲占比40%，41～50 歲占比30%，51～60 歲占比10%。絕大多數專家都在高等院校工作，包括北京大學、中國人民大學、南開大學、西南交通大學、武漢大學、中國農業大學、北京師范大學、河南大學、吉林大學、深圳大學、江蘇大學、湘潭大學等高校，少數專家在中國科學院等科研機構工作。從受教育程度分析，15 位專家是博士研究生學歷，3 位專家是碩士研究生學歷，2 位專家是本科學歷。從職稱角度分析，正高級專家有7位，副高級專家有6 位，中級專家有4 位。從工作年限的角度分析，總體工作年限均值達11.5年，工作20 年及以上的專家有5 位。從上述分析結果可以看出，本次調研專家的受教育程度較高且長期從事科研工作，具有較高的專業水平和較長的相關領域工作年限，調研結果能夠一定程度上確保研究結果的權威性和可靠性。

（2）專家自評表結果分析。專家自評表能夠反映專家的權威程度。筆者對本輪20 位專家的判斷依據和熟悉程度進行賦值和計算，結果顯示本輪有18 位專家的權威系數大于0.7，整體權威系數均值為0.83，由此得出本次調查專家權威程度較高。

（3） 專家指標重要性程度打分結果分析。指標重要性程度主要反映專家集中程度和協調程度。筆者對本輪20 位專家的指標重要性打分數據進行分析發現，所有指標的重要性均值大于3.5，且滿分頻率尚可，由此得出指標體系的集中程度較高。所有指標的變異系數小于0.25，且標準差小于0.9，由此得出指標體系的協調程度較好。綜合分析得出，專家對本輪構建的指標體系框架與內容認可程度較高，且并未提出指標修改意見，因此相關指標均可保留，不再進行第三輪專家調查。

4 指標體系權重的計算與確定

采用主觀和客觀相結合的方式計算指標權重，主觀權重采用專家權威系數結合秩和比法確定，客觀權重采用熵值法計算。最后，歸一化得出綜合權重。

4.1 主觀權重的計算與確定

在綜合考慮專家權威系數和指標重要性評分結果的基礎上，利用秩和比法對專家打分數據進行編秩［16］，以專家權威系數為權重進行賦權，計算得出主觀權重。

（1）對專家指標重要性評分結果進行編秩，得到相應秩次Zij。將同一專家對不同指標的打分結果按照由低至高的順序進行排序，其序號成為相應的秩次，相同序號則取其均值作為秩次。

（2）綜合秩次和專家權威系數，計算專家i對指標j 打分數值加權秩次。根據公式5，將第二輪德爾菲專家調查結果計算得到的專家權威系數CR 作為權重，給專家指標重要性評分編秩結果賦權。

式中的Z'ij為專家i 對指標j 打分數值的加權秩次，Zij為專家i 對指標j 打分數值的秩次，CR為各專家權威系數。

表5 加權秩次和、加權秩次均值及主觀權重

式中的Gj為指標體系主觀權重，為加權秩次均值，m 為參加問卷調查專家人數。

4.2 客觀權重的計算與確定

以20 位專家的指標重要性均值打分為原始數據，根據熵值法公式計算得到客觀權重。

（1）采用均值法進行數據標準化處理。

式中的X'ij為標準化指標數據，Xij為專家i 對指標j 的評分值，為指標評分均值。

（2）根據標準化數據處理結果，計算二級指標的特征比重。

式中的Pij為指標特征比重，X'ij為標準化指標數據，m 為參與指標評分的專家人數。

（3）利用指標特征比重，計算二級指標熵值、差異性系數和客觀權重，計算結果見表6。

表6 二級指標熵值、變異系數和客觀權重

式中的ej為指標熵值，Pij為指標特征比重。

式中的gj為差異性系數，ej為指標熵值。

式中的Hj為指標客觀權重，gj為差異性系數，n 為評價指標數量。

4.3 綜合權重的計算與確定

對指標體系的主觀權重與客觀權重進行歸一化處理，計算得到二級指標綜合權重，通過逆向順序加權法，計算得到一級指標綜合權重。由于三級指標過多，因此筆者綜合專家及小組內部意見，決定采用等權法確定三級指標綜合權重，最終指標體系及其權重計算結果（見圖2）。

圖2 高校圖書館科研數據管理服務能力評價指標體系及其權重

5 研究結論

本研究在梳理相關文獻和主流模型的基礎上，篩選高?？蒲袛祿芾矸障嚓P指標，從形式、內容、效用三個維度構建評價指標體系，最終得到由機構支撐力、管理服務力、社會效應力3 個一級指標，經費資源支撐、數據資源管理、用戶素養教育等11 個二級指標，成本效益分析、數據使用規范、科研成果產出等35 個三級指標構成的高校圖書館科研數據管理服務能力評價指標體系。為明確各指標的具體含義，提高指標體系的可操作性，本文將對指標體系內涵及特點進行詳細闡述。

5.1 重視指標體系邏輯關系

在指標體系構建過程中，重視各個指標之間的邏輯關系。應用SME 指標框架，從形式、內容、效用維度設置一級指標。從形式評價角度設置機構支撐力（38.97%）指標，對圖書館開展科研數據管理服務的基礎能力進行評價，通過政策制度、技術設備、經費資源、專職人員等指標進行衡量。從內容評價角度設置管理服務力（29.10%）指標，對圖書館開展科研數據管理服務的過程能力進行評價，通過數據資源管理、過程管理服務以及用戶素養教育等指標進行衡量。從效用評價角度設置社會效應力（31.93%）指標，對科研數據管理服務所產生的影響和效益進行評價，通過學術影響力、用戶滿意度、社會影響力、經濟影響力等指標進行衡量。在此基礎上，梳理各個指標之間的邏輯關系，去除其中重復及含義不清的指標，最終得到邏輯清晰、含義明確的指標體系。

5.2 強調指標體系賦權合理性

各個指標的相對重要程度不同，指標賦權有利于提高科研數據管理服務評價的準確性和合理性。以指標重要性打分數據為基礎，采用秩和比法并結合專家權威系數計算主觀權重。秩和比法的優勢在于將專家打分數據轉化為相應秩次，能夠有效降低極端值的影響，而以專家權威系數為權重，為指標秩次賦權，可以適當增加權威專家對指標權重的影響力，由此得到主觀權重。為避免單一權重計算方法產生的局限性，采取熵值法確定指標體系客觀權重。熵值法的優點在于根據數據本身的固有信息計算權重，可以盡可能降低人為主觀因素的影響，得出客觀、真實、可復現的客觀權重。最后，對主觀權重與客觀權重進行歸一化處理，得到科學且合理的綜合權重。

5.3 注重指標體系的可操作性

對指標體系進行試評價，發現大部分數據可通過高校圖工委網站、圖書館網站以及科研數據管理服務平臺獲得，少部分與用戶相關的數據則可通過問卷獲取，整體而言指標數據具有較強的可獲取性。此外，指標體系中定性指標與定量指標設置相對均衡。定性指標包括政策制度支撐、技術設備支撐、數據資源管理、過程管理服務、用戶素養教育、社會影響力，可通過是否存在相關政策制度文件、是否具備科研數據管理服務平臺、是否存在數據資源管理規范、是否開展相關過程服務、是否開展用戶素養教育、是否存在產生社會影響的實際案例等進行衡量，對抽象評價內容具有較強的適應性。定量指標包括經費資源支撐、專職人員支撐、用戶滿意度、學術影響力、經濟影響力，可通過經費資源占比、成本效益分析、專職人員占比、用戶滿意度問卷數據統計、學術成果數量等進行衡量，評價結果準確且客觀。綜合定性評價與定量評價的優勢，進一步增強指標體系的可操作性。

5.4 突出經費資源支撐和用戶素養教育評價指標

對二級指標權重進行降序排列，權重最高的指標為經費資源支撐，占比11.55%，下設經費使用分析和成本效益分析兩個三級指標。經費資源支撐主要用于衡量機構經費來源是否穩定，用于科研數據管理服務的經費占比以及成本效益相關情況。經費資源是科研數據管理服務正常開展的先行條件，也是購置相關設備和建設技術平臺的基礎，因此經費資源支撐權重占比較為突出。權重位列第二的指標是管理服務力下用戶素養教育，占比10.97%，下設用戶素養教育內容與用戶素養教育方式兩個三級指標。素養教育作為高校學生教育的重要內容，圖書館能否提供用戶素養教育服務，能否通過豐富的教育方式與內容提升用戶數字素養水平是科研數據管理服務能力的重要評價內容。

5.5 不足與展望

在指標體系的構建過程中，筆者盡可能地保證了指標體系普適性和數據客觀性，然而本文仍然存在以下不足之處：不同學者在構建指標體系的過程中，都有各自的研究視角和側重點，因此本文構建的指標體系還有可供完善的空間。此外，本文構建的指標體系中的諸多指標與平臺密切相關，因此在評價不具備相關平臺的高校時，具有較大的局限性。未來，筆者將通過更加深入的研究，進一步擴展和完善指標體系，使其更具普適性和可操作性。