粵港澳大灣區科技專家評審質量后評估模型及共享機制研究

胡 意 鄒倩瑜 廖 揚 陳麗麗

(廣東省科技創新監測研究中心,廣州 510033)

0 引 言

2019年初廣東省政府印發《關于進一步促進科技創新的若干政策措施》[1],提出鼓勵港澳高校和科研機構承擔廣東省科技計劃項目,并將在重大項目形成、指南發布過程中充分聽取吸收港澳專家意見?？萍紝＜覉F體在支撐科技管理部門制定創新驅動發展戰略、輔助科技管理精準施策中發揮重要“智囊團”作用,各級科技管理部門高度重視科技專家隊伍建設和管理。2022年科技部等八部門發布《關于開展科技人才評價改革試點的工作方案》[2],強調在人才評價上,要“破四唯”和“立新標”并舉,加快建立以創新價值、能力、貢獻為導向的科技人才評價體系。在這種背景下,綜合運用BP神經網絡、區塊鏈等新一代信息技術,結合BP神經網絡在處理非線性問題上的顯著優勢以及區塊鏈技術在信息共享上的安全可靠、不可篡改特點,探索一種跨區域、跨制度、跨部門的科技專家評審質量共建、共治、共享機制,為粵港澳大灣區建設夯實科技專家人才儲備、營造風清氣正的粵港澳大灣區科技創新環境提供一種創新路徑。

1 文獻綜述

1.1 評估體系研究

在評估指標體系研究方面,徐華從科技評估專家的特點出發,研究設計了科技評估專家信用評價指標體系,運用模糊綜合評判法建立了科技評估專家的信用評價模型,初步實現了對科技評估專家的信用評價[3]。廉立軍建立了包括人員素質、服務環境等維度的高校圖書館館員服務質量評估體系,并根據專家判斷法對評估指標體系進行驗證[4]。蔡文學等注意到項目類型不同會造成專家評分偏差,通過在不同類型的項目中引入不同的評分偏差度權重,計算得出評審專家的績效總分,通過實例分析驗證該方法的實用性和有效性,為科技項目評審專家的遴選提供決策支持[5]。上述研究在評估體系中分別引入模糊綜合評判法、專家判斷法、偏差度權重方法來提升評估體系的科學性與精準性,值得借鑒。

1.2 神經網絡算法在評估中的應用

俞立平以評價指標為輸入,以非線性多屬性評估值為輸出,訓練BP人工神經網絡,通過檢驗非線性多屬性評估方法的邏輯一致性來進行評估方法的選取[6];劉澄等建立以發明人特征、專利文本特征、專利法律度特征及市場關注度為初選指標的專利價值評估體系,進一步結合BP神經網絡構建專利價值評估模型,通過專利價值樣本數據驗證該模型的適用性和可靠性[7]。已有學者將BP神經網絡的非線性問題處理優勢應用于評估評價指標模型優化方面,實證結果表明通過合理構建BP神經網絡模型能夠提升評估評價結果精度。

1.3 基于區塊鏈的信息共享場景

李志宏等基于社區知識分享需求,探討將區塊鏈技術應用于社區知識分享過程的必要性和可能性[8];徐尚英等針對科技服務數據存在的數據標準多樣化、共享不及時、信息壁壘及安全性等問題,在科技服務數據管理中融入區塊鏈即服務架構和思想方法構建數據共享系統結構,利用智能合約和加密密鑰實現數據的有效檢索和共享,并保證數據共享過程中的安全性和隱私性[9];高悅等將區塊鏈技術納入突發公共衛生事件信息共享研究范疇,從數據存儲、網絡共識、智能合約等層面構建公共衛生事件共享模型,為疫情防控應急管理提供決策支撐[10]。上述研究探討了區塊鏈技術在社區知識分享、科技服務數據共享、公共衛生事件信息共享等領域的應用,肯定了區塊鏈技術在信息共享中的優勢。

2 專家評審質量后評估指標構建

科技專家作為重要智力支撐,為科技計劃項目從指南編制、評審、中期考核到驗收結題的全生命周期提供專業咨詢意見和建議。充分發揮專家“智囊團”群體的專業知識、工作經驗和判斷能力等優勢,能夠有效促進科技管理決策的科學性、公正性與權威性。在肯定科技專家智力群體為科技進步做出貢獻的同時,也需要審視科技專家智力群體在項目評審中暴露的一些問題,例如專家評審態度不端正、評估有失公允、專業水平有限、濫用專家權力、違反回避制度、裙帶關系盛行等問題偶有發生。因此,建立科學合理的專家評審質量后評估體系,彌補專家評審質量監管空白,將有利于科技管理部門保證第三方咨詢活動公平公正、科學規范。

通過文獻梳理[2-5],結合相關評估指標原始量表,建立專家基本素質、工作態度及專業能力等3個維度的一級指標,對應18項二級指標(見表1)?？萍紝＜以u審質量的綜合評估結果是由一級指標、二級指標相互作用、相互影響形成的,本文將展開評審質量綜合評估結果的精準性研究。

表1 科技專家評審質量后評估指標

3 評審質量評估模型

BP神經網絡在處理隨機、動態、模糊、離散信息時具有顯著效果,兼具自學習、自適應及并行處理等功能,在處理復雜非線性問題上具有較大優勢[6]。結合表1可知,科技專家評審質量后評估指標涉及的一級指標、二級指標兼具耦合與離散的雙重屬性,定性分析方法主觀性較大,定量分析方法指標權重設計較為復雜,缺乏可操作性。由于本文建立的專家評審質量后評估指標及對應指標權重設立具有復雜特性,因此探索建立以綜合評價結果為導向、基于BP神經網絡算法的評審質量后評估模型。

3.1 模型建立步驟

專家評審質量評估模型建立步驟如下:

確定輸入層神經元。根據表1確定的科技專家評審質量后評估指標體系,將18項二級指標作為模型的神經元輸入,輸入1,輸入2,…,輸入n,這里的任意一項二級指標“輸入n”即為神經元。

確定輸出層神經元。將單個專家的評審質量綜合評估結果作為最終輸出。

確定隱含層數及神經元。對簡單數據集而言,隱含層通常是一層或兩層。根據Kolmogrov理論[11],選擇隱含層為1層即滿足需求。隱含層神經元個數設置過多或過少都不利于完美擬合,應用LeCun等提出的經驗公式確定隱含層神經元數量[12]。

(1)

其中,Nh為隱含層神經元數量,Ns為訓練集樣本數,α是自取的任意值變量,Ni是輸入層神經元個數,No為輸出層神經元個數。

確定神經元轉換函數。Sigmoid函數被廣泛應用于神經網絡的激活函數,本文采用Sigmoid函數為轉換函數。

(2)

針對誤差進行參數調節。預測結果和真實結果誤差用最小二乘法表示,針對誤差用高效的梯度下降法來調節更新參數。

設置對目標結果的期望。設置一個迭代終止的目標條件,即神經網絡評估結果與實際結果誤差小于一個閾值時,模型迭代終止。至此,一個基于BP神經網絡的專家評審質量評估模型建立完成。

3.2 評估模型的訓練

本文以粵港澳大灣區某地市科技管理部門科技項目評審專業管理機構收集與提供的2019—2022年科技專家科技評審質量后評估真實數據為基礎,遴選1 000份有效樣本數據,對專家基本信息進行脫敏處理,用隨機樣本序號代表專家科技評審質量后評估結果,包含綜合評估結果、一級指標及二級指標評分。隨機抽取900組評估數據用作訓練數據,訓練次數預設為不少于800次,目標誤差不大于5%。在神經網絡訓練過程中,通過擬合、迭代、反向調參,減小預測值結果與真實綜合評分間的誤差,給出無限逼近真實綜合評分的預測值。截取部分訓練數據(見表2),可以看出真實的綜合評估值與后評估模型評價預測值的絕對誤差不超過5%,基本滿足預設目標誤差。

表2 科技專家評審質量后評價訓練集

3.3 后評估模型實證

上述評估模型的訓練基本滿足精度要求,接下來利用剩余的100組真實數據對調優后的神經網絡后評估算法模型進行實證測試,用于檢驗后評估模型輸出的自動化評估預測值和人為主觀評估結果之間的誤差是否在預設目標誤差范圍之內,真實綜合評分結果與后評估預測值間誤差區間分布見圖1,帶編號的圓圈表示后評估預測值與真實評價值相對誤差所處的區間?？梢钥闯?測試集誤差區間全部分布在[-5%,5%]區間,100個測試結果中有85個誤差分布在[-2.5%,2.5%]區間,占比85%;另有15個測試結果絕對誤差大于2.5%、小于5%,占比15%。實證結果表明,神經網絡后評估模型在目標誤差值為2.5%時,精度為85%。精度不是特別高的原因:一是訓練數據僅為900組,訓練數據規模較小導致神經網絡模型訓練不足;二是神經網絡模型的誤差調節參數調節不充分,需進一步對參數進行調優;三是選用的神經元轉換函數不完全適用,下一步考慮將Sigmoid函數替換為線性整流函數再進行測試。綜上,本文設計的神經網絡后評估模型精度基本符合預測要求,但還需結合更大規模的真實訓練數據進一步訓練、調優及參數優化,達到進一步減小相對誤差、提升后評估模型的精度的目的。

圖1 測試集誤差區間分布情況

4 專家評審質量評估信息共享機制

通過調研發現,粵港澳大灣區涉及的廣東省省級科技主管部門、9個地市科技管理部門及2個特別行政區科技管理部門科技咨詢專家庫相互獨立,并未建立起專家信息資源的長效共享機制;科技管理部門間的專家信息共享仍然以線下、手動對接為主,存在信息更新不及時、數據標準不統一等弊端;科技管理部門在邀請專家參與評審或咨詢活動時主要通過隨機抽取或憑“印象分”指派專家。同一專家服務于粵港澳大灣區內不同科技專家管理機構的情況較為普遍,專家服務于不同科技專家管理機構組織的評審活動時產生的評審質量評估信息存在“信息壁壘”,導致科技專家行為監督與約束機制的局部失效,本文將探索結合區塊鏈技術優勢建立評估信息共享機制。

4.1 區塊鏈技術在信息共享中的應用

區塊鏈的概念最早誕生于2008年,區塊鏈技術的本質是一種去中心化、高可靠性、不可篡改的分布式數據庫賬本技術,因其獨特的技術理念被廣泛應用于信用驗證、數字版權、信息共享、數字認證等領域[13]。以基于區塊鏈技術的政務信息共享為例,跨區域、跨行業政府部門間制定政務信息共享的協議,形成政務信息共享的智能合約,并將智能合約簽名信息打包到區塊鏈網絡中;當某個部門提出信息共享請求時,數源部門收到請求廣播后,對請求進行數字化驗證,在確認請求符合約定后,觸發智能合約;由數源部門將簽名后的共享信息反饋給需求部門,形成共享信息的備份,并通過共識節點將共享記錄信息打包上鏈,至此完成一次政府部門間的政務信息共享[14]。

4.2 基于區塊鏈的專家評估信息共享機制

4.2.1 構建粵港澳大灣區專家信息管理區塊鏈生態圈

本文中專家信息管理區塊鏈生態圈基于區塊鏈行業鏈理論[15],成員限于粵港澳大灣區協議約定的專家信息管理機構成員,將約定的專家信息管理機構成員作為生態圈網絡節點,每個網絡節點也是記賬人,鏈上的讀寫權限、記賬規則按協商確定的智能合約形式來設計。每個科技專家評估信息包區塊由專家信息管理節點根據實際評審活動產生的專家評審質量評估信息產生,其他專家信息管理節點參與新評價信息的上鏈共識過程,專家評估信息在科技行業區塊鏈生態圈中互通共享,各專家管理節點通過生態圈查詢調用專家后評估信息,作為遴選、抽取專家的一個重要參考依據。通過區塊鏈生態圈保障專家評估信息的統一完整、安全流通和不可篡改。

4.2.2 基于區塊鏈生態圈的專家評估信息流

在上述構建的專家信息管理區塊鏈生態圈中,專家評估信息的共建、共治、共享依賴于統一標準的專家評審質量評估指標體系和算法模型,通過專家信息管理系統錄入、采集專家評審活動中產生的后評估指標對應的二級指標基礎分值,再結合本文構建的BP神經網絡算法模型自動形成專家評審質量后評估結果。專家信息管理節點將專家的身份唯一標識信息和新評審活動產生的專家評估結果信息進行加密,打包成新區塊,基于共識機制將所述新區塊寫入已有區塊鏈,生成新的區塊鏈,并進行廣播。其他專家信息管理節點申請專家評估信息使用授權,解密后從所述新區塊鏈中調用專家評估信息,至此,完成了一次基于區塊鏈技術的科技專家評審質量后評估信息從產生、上鏈共享到應用的循環流轉過程,專家評估信息流轉見圖2。

圖2 基于區塊鏈生態圈的專家評估信息流轉

5 結論及展望

本文針對粵港澳大灣區建設背景下科技專家評審質量后評估機制不完善、評估標準不統一及專家管理信息共享壁壘等問題,研究設計了科技專家評審質量后評估指標體系,基于BP神經網絡算法建立了科技專家評審質量評估模型,開展了評估模型的訓練,并結合真實數據初步驗證了后評估模型的精度,在一定程度上彌補了科技專家評審質量后評估機制領域的研究不足;并結合區塊鏈技術,探索構建粵港澳大灣區專家評價信息管理區塊鏈生態圈,為跨區域、跨制度、跨部門科技專家評審質量評估信息共建、共治、共享提供一種創新路徑。

隨著人工智能、區塊鏈等技術在眾多行業落地應用,結合BP神經網絡的自學習、自適應特點,實現科技專家評審質量智能化、自動化評估成為可能;將區塊鏈技術應用于具有跨區域、跨制度、跨部門特性的粵港澳大灣區科技專家評審質量評估信息共建、共治、共享具有開創性意義,在推動粵港澳大灣區科技交流合作、夯實科技咨詢人才基礎、營造風清氣正的科研環境上具有現實意義。