基于WBS的省級科技項目多元化評價體系研究
--以吉林省科技計劃項目實證評價為例

王 欣 周立娟 胡璐璐 楊 華 來則鳴 劉 臻 白 洋 劉小溪

（吉林省科學技術信息研究所，吉林長春 130000）

0 引言

省級科技項目是地方政府促進科研和技術創新等活動的基本組織形式，也是合理配置省內科技資源、促進全省科技與經濟發展的重要手段。對省級科技項目開展評價是科研管理部門的重要管理手段，也是制定科學決策的重要依據。對省級科技項目的評價結果會直接影響地方科研經費的投入使用效果，并對實現全省科技資源的合理高效配置起決定性作用。

WBS（Work Breakdown Structure）即工作分解結構，是一種涵蓋了項目全部工作內容的項目分組結構。在此結構中包含多級附屬層級結構，每個下降層級都會表示出較其所屬上一層級更加具體的項目工作分組[1]。WBE（Work Breakdown Element）即工作分解單元，是在工作分解結構中能夠獨立表達、獨立測量、獨立評價的基本單元。建立WBS的目的在于把一個項目細化、分解成不同的組成部分，以便于管理層和研發人員全面了解與掌握項目工作內容[2]。

本文以吉林省科學技術廳《關于開展“負面清單+誠信+績效”科技計劃項目管理試點的指導意見》[3]為導向，以2020年立項的吉林省科技發展計劃項目中部分類別科技項目為研究對象，應用WBS方法進行多元化實證評價探索研究。對項目的主要內容、關鍵技術、產出成果等展開全面分解和梳理，并在此基礎上加入成熟度、創新度、技術先進度和領域分析等評價過程，深入研究基于WBS的多元評價方法在省級科技項目評價中的應用。本文的研究目的在于豐富和完善現有省級科技項目的評價形式，為原科技項目同行專家評議方法提供輔助和客觀評價依據，并與同行專家評議形式相結合，共同形成一套適合省級科技項目評價的多元化評價體系。

1 文獻綜述

自20世紀90年代中期，我國開始推行科技評估制度以來，不斷有學者對科技項目評價方法、評估模型等進行深入探索挖掘[4-5]。姜文超等[6]采用DEA投入導向模型對成果轉化類科技項目進行了績效評價研究；何成等[7]基于模糊評價方法探索了科技計劃項目的立項評估體系；馬麗娜等[8]研究了層次灰色評價模型在科技項目立項評估中的應用；楊仕輝[9]研究了在區域項目發展優選中的應用數據包絡分析模型的效果。這些科技項目評價方法，有些是早期的項目評價方法，而有些則并不適用于省級科技項目的評價。目前，最常用的省級科技項目評價方法主要為同行業專家評議法[5]。

同行業專家評議法是現階段省級科技項目評價中應用最廣泛的方法，但這個方法屬于定性評價方法，其在評價科學性、客觀性等方面也會受到一定程度的制約。如相關領域行業專家的數量、學術水平程度、對領域發展的預見性，以及行業專家對評審材料的理解程度、所形成評審意見的主觀部分占比程度等都會對評審結果質量產生一定影響。同時，行業專家在評審過程中缺少評價的標準依據，也會間接導致評價結果缺乏客觀性。

2018年以來，國務院辦公廳印發了《關于深化項目評審、人才評價、機構評估改革的意見》[10]，其目的在于建立健全科技項目評估評價體系，推動我國科技項目評估工作向著科學化、規范化的方向發展。在國家政策引導下，我國各省市也相繼開始在同行業專家評議法的基礎上，探索多元化、系統化的科技項目評價方法。廣東省在重大科技專項中期評估中正式引入了技術就緒水平評價方法[11-13]；河北省對省級重大科技成果轉化項目和重點研發計劃項目產業化交付物和關鍵技術成熟程度開展定量評價[14]；山東省青島市出臺了《青島市科技計劃項目技術成熟度立項評價工作規程（試行）》[15]，將技術成熟度應用于關鍵技術攻關及產業化示范類科技計劃項目遴選的立項過程評價。從評價對象和評價周期來看，各省市涉及情況均不相同，但從評價方法來看，對于項目技術就緒水平（即技術成熟度）的定量評價已成為研究熱點，而對于科技項目的評價形式也已經由僅對項目初始階段的評價發展到對項目全周期過程的多維度、多類別的評價形式。

吉林省在促進科技項目評價體系規范化方面采取了多項措施，先后印發了《關于優化科研管理提升科研績效的實施意見》《關于深化項目評審、人才評價、機構評估改革的實施意見》等多項指導實施文件，旨在以貫徹落實國家政策為根本依據，從深入推進吉林省科技項目評價改革機制、激發科研人員創新活力、堅持公平公正公開原則、建立客觀標準的項目評估評價評審流程等角度出發，建設涵蓋項目評審全過程關鍵環節的制度體系。

基于此，筆者從吉林省省級科技計劃項目角度出發，融合同行業專家評議法，探索研究一套基于WBS且包含定量評價和定性分析過程的省級科技項目多元化評價體系。

2 省級科技項目多元化評價體系理論框架設計

2.1 評價體系構建原則

評價體系作為省級科技項目質量評價的重要工具，既應客觀反映被評項目的真實技術水平，也應符合項目指南基本要求。因此，在體系構建方面應遵循以下原則。

（1）科學性原則。根據科技項目特點，評價指標等級界定應清晰明確，成熟度、創新度、先進度等指標設置應科學合理，讓評估人員能夠快速準確地判定評價等級，讓項目管理機構及評審專家能夠清楚每個等級所表達的含義。

（2）獨立客觀原則。評價體系應客觀反映科技項目的真實技術水平，每個維度的評價結論皆應獨立客觀，并由論據充分的佐證材料進行支撐。

（3）導向性原則。評價體系應與項目指南要求相匹配，根據不同類別科技項目的不同支持重點，在設置評價體系的指標時應體現不同的導向性。

（4）標準可操作原則。評價方法、指標和評價結論應盡量簡潔、標準易操作，能夠讓評估人員迅速抓住科技項目的評價重點，在有限時間內搜集密切相關材料，盡量作出精準評價。

2.2 評價體系構建方法

本文在構建多元化評價體系時主要基于以下4種方法：一是建立WBS法，是指按照省級科技項目的研究內容、實施過程、所在地域或交付物的物理結構、主要功能等對項目進行自上至下的全面逐級分解，將其拆分為多個可以獨立表達、獨立測量、獨立評價的WBE，并建立所屬分支明確的WBS結構圖的過程。項目WBS結構如圖1所示。二是多元化技術指標評價法，是指按照項目的WBS情況對項目每個WBE或核心WBE進行成熟度、創新度、技術先進度指標的等級評價，即分別從項目的技術就緒水平或理論方法就緒水平、新穎性程度和核心指標的先進性程度這3個維度來評價項目質量。三是所屬領域分析評價法，是指利用文獻計量法、專利聚類分析法等對科技項目的核心技術/理論所屬領域或領域上游相關產業情況進行綜合分析，旨在評價科技項目研發方向所屬領域或其上游相關產業的發展趨勢情況。四是行業專家咨詢法，是指在以上評價方法形成綜合評價結論的基礎上，采取咨詢相關領域行業專家的方式來驗證評價結果的客觀性，以最終形成完整、規范、科學、客觀的科技項目多元化評價報告。

圖1 項目WBS結構示意

2.3 評價指標的選取

本文的多元化評價體系指標主要從成熟度、創新度、技術先進度和領域分析4個維度產生。

2.3.1 成熟度指標

成熟度指標是指按照項目WBS對每個WBE進行技術/理論方法就緒水平進行評價時的指標。國家標準GB/T 22900-2022《科學技術研究項目評價通則》[16]對科技項目的類別劃分為基礎研究類、應用研究類、開發研究類。據此，本文將成熟度指標設定為2項，即基礎研究成熟度指標、應用研究成熟度指標。對應開發研究類科技項目，本文采用同時考察其基礎研究成熟度和應用研究成熟度評價的方式來獲得評價結果。對于基礎研究成熟度和應用研究成熟度的評價標準，本文借鑒山東省青島市對科技成果標準化評價[2]的技術成熟度評價標準，根據應用研究類項目特點，設計了13級應用研究成熟度評價參照標準，如表1所示，并根據基礎研究類項目特點，設計了7級基礎研究成熟度評價參照標準，如表2所示。

表1 應用研究成熟度等級評價參照標準

表2 基礎研究成熟度等級評價參照表

2.3.2 創新度指標

創新度指標是指對科技項目的核心技術部分或核心工作單元的新穎性水平進行評價時的指標。本文設定創新度指標1項，并對照山東省青島市的科技成果標準化評價方法[2]，結合前期對評價體系的基礎研究過程[17-18]和省級科技項目特點設計7級創新度評價參照標準，如表3所示。

表3 創新度等級評價參照表

2.3.3 技術先進度指標

技術先進度指標是指對應用研究類和開發研究類科技項目的核心技術先進程度進行評價時的指標。由于基礎研究類項目一般無法產生具有可比較性參數指標的實質性交付物，因此這項評價指標不用于考察基礎研究類項目。本文設定技術先進度指標1項，借鑒山東省青島市科技成果標準化評價[2]中的技術先進度評價標準，根據應用研究類和開發研究類項目特點，設計7級技術先進度評價參照標準，如表4所示。

表4 技術先進度等級評價參照表

2.3.4 領域分析指標

領域分析指標是指對科技項目研發方向所屬領域進行趨勢分析評價時的指標，結合省級科技項目特點，本文設定生命周期階段、領域方向實力機構、研發方向熱點技術3項指標。由于領域分析為定性分析過程，本文設定的這部分指標不作為項目評價依據，僅作為輔助參考指標。

2.4 評價實施流程

本文所構建的多元化評價體系主要由確認評價目標、建立工作分解結構（構建項目WBS圖）、提取項目相關指標、文獻檢索分析與佐證材料整理、進行多元化指標評價、形成綜合評價結論、咨詢行業專家、形成多元化評價報告等內容構成。其中，提取項目相關指標環節主要是指對項目預期產出或已產出成果、項目主要創新點、項目核心技術指標等內容的梳理提取，這個環節也可根據項目實際情況提取研發風險、研發團隊情況、項目保障條件等信息；進行多元化指標評價環節主要包括對項目成熟度、創新度、技術先進度指標的等級評價和對項目研發領域的分析評價。在形成綜合評價結論后，需要經過咨詢行業專家環節，由相關領域行業專家對評價內容和評價結論進行判定，如行業專家對評價內容和結果提出質疑，則返回提取相關指標或文獻檢索分析環節對評價過程和評價結果進行修正。此過程可循環多次，最終形成無質疑的科技項目多元化評價報告。評價體系構建流程如圖2所示。

圖2 省級科技項目多元化評價體系構架流程

3 吉林省科技計劃項目實證評價研究

3.1 研究方法

上述省級科技項目評價體系的框架結構僅為初步理論構思，還需通過實證評價進行支撐和驗證。本文選取2020年立項的吉林省科技發展計劃項目中14個技術創新引導項目為研究對象，基于多元化評價體系采取分類評價與分階段評價相結合的方式對其進行實證評價研究。所謂分類評價，是根據項目的研究內容和交付物特點，遵循同類型事物橫向可比較原則，將被評項目劃分為基礎研究類、應用研究類和開發研究類，并對不同類別項目采用不同的評價方法。所謂分階段評價，是根據項目的全周期過程特點，對同一項目的不同階段進行縱向實施情況的驗證性評價，主要體現為對同一項目立項階段的評價和驗收階段的評價。

本文按照分類評價方法，將14個實證項目分為基礎研究類4項、應用研究類9項、開發研究類1項，并分別進行評價研究；按照分階段評價方法，將14個實證項目分為立項階段和驗收階段，并分別進行了兩次評價研究。

3.2 實證評價研究

3.2.1 典型案例研究

選取基礎研究類項目（案例一）和應用研究類項目（案例二）各1項作為典型案例，對其進行實證研究。典型案例的基本信息如表5所示。

表5 典型案例基本信息表

按照多元化評價體系的評價方法和評價指標對實證案例進行實證評價，其中立項階段未實施領域分析評價。典型案例評價情況如表6所示。

表6 典型案例評價情況一覽表

3.2.2 實證綜合研究

本文對14個實證項目分別進行分類評價研究和分階段評價研究，統計整理得到實證項目綜合評價結果，如表7所示。

表7 實證項目綜合評價結果一覽表

3.3 研究結論

以吉林省科技發展計劃項目為例，對省級科技計劃項目多元化評價體系進行研究，得出以下幾點研究結論。

3.3.1 WBE數反映項目飽滿度

各類別實證項目的WBE數量范圍均為8～13級，立項階段和驗收階段項目的WBE數量基本相同或略有增加，未出現WBE數量減少的情況，說明全部實證項目在實施過程沒有偏離技術路線，都能夠基本做到按照任務書要求執行并完成項目內容，且項目實施飽滿程度均較高。

3.3.2 成熟度等級跨度的橫向可比較性

由于14個實證項目類別不同，其成熟度參照指標不同，評價得到的成熟度等級不同，各階段成熟度等級不同。從項目立項階段的成熟度等級情況來看，應用研究類項目整體高于基礎研究類項目的初始等級；從項目立項階段到驗收階段的成熟度等級跨度來看，應用研究類項目的平均等級跨度3.4級明顯高于基礎研究類項目的平均等級跨度1.8級。這種情況的產生原因：一是由于基礎研究類和應用研究類項目的成熟度評價標準不同，二是從一個側面反映了基礎研究類項目在交付物成果產出方面很難產生跨越性研究進展。而對于同一類別科技項目的成熟度而言，本文認為如果設定評價閾值，則成熟度等級跨度也可作為反映項目工作飽滿程度的評價依據。

3.3.3 技術先進度評價的局限性

在本次實證評價中，驗收階段的預期技術先進度水平大多達到或超過了立項階段預期技術先進度水平。一方面說明項目的完成指標達到的效果較好，另一方面說明項目組的預期指標設定值可能過低。

而實證評價中發現有2項應用研究類實證項目無法實施技術先進度評價，其原因在于評價過程中雖然可以從實證項目中提取獲得可量化的核心技術指標，但由于這類指標屬于基礎性能指標，而非具有可比性的功能參數指標，無法進行技術先進度水平對比。

3.3.4 技術生命周期穩定

在領域分析評價中，有6項實證項目處于技術萌芽期向技術成長期轉變階段，有8項實證項目處于技術成長期向技術成熟期轉變階段，未發現處于技術成熟期向技術衰落期轉變階段的項目。一方面說明實證項目均處在穩定的技術生命周期階段，另一方面說明實證項目的研發前景均較為廣闊。

3.3.5 行業專家認可程度較高

本文對14個項目的實證評價研究共形成了28份多元化綜合評價結論，均獲得了相關領域行業專家的基本認可。專家普遍認為，評價結論符合項目所處階段的實際情況，具有一定客觀性。但有部分專家對評價體系自身提出了一些建議和觀點，其中包括成熟度等級劃分應進行調整、領域分析不夠深入、技術先進度佐證材料證據力不足等。以上說明，多元化評價體系雖然可以基本做到對科技項目的客觀評價，但體系自身仍需不斷調整和完善。

4 建議與展望

本文提出的多元化評價體系現階段雖然存在一定的問題需要改進，但筆者認為，體系對于省級科技項目的評價具有較大意義，具體可以體現為評價結果在省級科技項目不同評價形式中的應用。因此，筆者建議，多元化評價體系可應用于省級科技項目評審、科技專項（計劃）評價及科技獎項評選中。

4.1 評價結果應用于省級科技項目評審

多元化評價體系評價結果可應用于省級項目立項評審和結題驗收評審中。在立項評審中，評價體系中各項指標可作為評審參考依據。如WBE數和成熟度指標值可以表征項目的前期工作量及項目內容飽滿度；創新度指標可以表征項目的創新性水平；領域分析指標不但能表征項目的橫向水平，還可以間接描繪出處于迭代期和衰退期的技術。與立項評審相比較，結題驗收更側重于項目本身的完成情況（即成果產出情況），因此評價指標的應用方法也不同。如成熟度指標在項目執行周期中的等級跨度值可以表征項目推動技術的發展情況；技術先進度指標可以用于考察項目技術指標水平的先進程度等。

4.2 評價結果應用于省級科技專項（計劃）評價

對于省級科技專項（計劃）評價而言，多元化評價體系相較于主觀定性評價方法具有可統計、可分析的優勢。筆者認為，對科技項目的多元化評價結果可以作為專家評審的輔助參考依據，并對某一類別項目的多元化評價結果進行統計分析，還可以間接獲得此計劃/類別項目的中觀或宏觀評價結論，進而為科研管理部門對專家評審結論的二次驗證提供參考依據。

4.3 評價結果用于省級科技獎項評選

對于科技類獎項評選，筆者認為可以根據各獎項的獎勵對象和獎勵范圍對評價體系設置不同指標閾值，將由此得到的評價結果應用于獎項評選的初篩中。如自然科學獎評選鼓勵技術創新，可重點考察申報項目的創新度等級（即項目的自主研發情況）不應低于5級，而酌情放寬項目成熟度等級；科技進步獎評選則側重考察科學技術的應用轉化價值，可重點考察申報項目的成熟度等級（即項目成果的轉化情況）不應低于12級。由此可見，既可以輔助獎項設置機構篩選出已取得重大經濟效益的項目，又可以在某種程度上降低專家評獎的任務量，對于提高評審效率及評審客觀性均能起到一定作用。

新體系從提出到推廣應用，只有經過不斷探索、論證、改進的往復循環過程，才能得到改善和提高。筆者希望通過擴大實證評價范圍、增加評價樣本量、邀請更多行業專家點評的方式對多元化評價體系進行不斷論證和完善，使其更具備客觀性、實用性和適用性。新時期、新形勢下，科技項目評價方法和體系將進一步得以健全。相信在不久的將來，多元化評價體系必將在助力和成就優秀科技項目方面發揮至關重要的作用。