數字化考試測評系統在醫師資格考試實踐技能考試中的建立與應用

華 東，羅建平，王 寧，溫吉元，許 迪，馬 元，黃 華*

(1．南京醫科大學生物醫學工程與信息學院，江蘇 南京 211166；2.南京醫科大學醫學模擬教育中心，江蘇 南京 211166；3.國家醫學考試中心，北京 100097；4.南京醫科大學第一臨床醫學院內科學系，江蘇 南京 210029)

醫師資格考試是行業準入考試，是執法性考試。國家衛健委醫師資格考試委員會在《醫師資格考試發展規劃(2018—2020年)》中提出：“開展考試測評，努力實現考務管理規范化標準化。2018—2019年修訂評估辦法，開展考區考務工作評估。加強考試重點環節督導檢查，加快信息化應用水平，提高考務組織實施標準化水平?！北疚囊葬t師資格考試實踐技能考試規范化、標準化為目標，構建實踐技能考試的數字化考試測評系統，并初步應用于2019年醫師資格考試實踐技能考試中。

一、實踐技能考試的數字化考試測評系統

通過梳理醫師資格考試相關文件，構建實踐技能考試數字化考試測評系統，從考生、考務、考官三個維度對實踐技能考試的規范化、標準化程度進行測量?？紕諗祿目荚嚮噩F場實時采集，通過哈希校驗保證數據的完整性，由考點、考區、國家醫學考試中心分級審核評估。

(一)數字化評估體系依據的數據集。

數字化評估體系依據的數據集由考生數據、考務數據和考官數據組成。其中考生數據包括檢錄時間、檢錄照片、簽出時間、簽出照片、所抽題號、所考題號、進出考站時間、座位號和考組號?？紕諗祿z錄起止時間、檢錄監控視頻、簽出起止時間、簽出監控視頻、筆試起止時間、筆試監控視頻、原始成績錄入表和評分表掃描件?？脊贁祿üP試答卷掃描件和操作考試視頻答卷。

(二)數字化評估體系的評估指標。

數字化評估體系的評估指標包括考生數據規范性、考務數據規范性和考官評分規范性?？忌鷶祿幏缎园忌矸?、考題一致性和考試完整性核驗?？紕諗祿幏缎园紕毡O控視頻、評分表錄分和流程規范性核驗?？脊僭u分規范性包括筆試評分和操作評分核驗。

二、系統原型及可行性論證

(一)考務流程管理和考務數據采集的相關模塊。

考務流程管理和考務數據采集由七大模塊組成，分別是考生檢錄模塊、考生簽出模塊(簽出處)、抽題模塊(基地候考處)、叫號模塊、掃描管理模塊、環繞音視頻記錄系統和評分表錄入，其安裝位置及主要功能見表1。

表1 考務流程管理和考務數據采集相關模塊

(二)數字化考試測評系統的運行設計。

1.考生數據規范性。(1)考生身份核驗：導入基地的考生報名照片、入場照片、出場照片，通過人臉自動比對，篩選不一致的考生進行人工復核。(2)考題一致核驗：導入基地的考生抽題數據、成績錄入表，逐一比對考生所抽題號和所考題號，篩選不一致的考生進行人工復核。(3)考試完整性核驗：導入基地的考生出入考站數據，逐一檢查考生各站考試時間、分配的座位號，篩選考試缺項考生進行人工復核。

2.考務數據規范性。(1)考務監控視頻核查：導入基地的考務監控視頻文件，按隨機抽樣方案對視頻進行核查，記錄差錯次數。(2)評分表錄分核查：導入基地的評分表掃描件，隨機抽取部分評分表復核錄分數據，記錄差錯次數。(3)流程規范性核查：導入基地的考生進出考站數據、座位/考組分配數據，核查同一時段、同一座位分配考生的唯一性，核查每個考生流向的單向性，記錄差錯次數。

3.考官評分規范性。(1)筆試評分核查：導入基地的筆試答卷掃描件，隨機抽取部分答卷復核評分數據，記錄評分誤差。(2)操作評分核查：導入基地的操作考試視頻答卷，隨機抽取部分答卷復核評分數據，記錄評分誤差。

(三)數字化考試測評系統的實施路線。

在數字化考試測評系統建立與推廣的過程中，我們可以通過基本達標型、標準型、示范型進行分類考核、分步實施。

1.基本達標型。對抽題、錄分環節進行評估，考試過程中實時采集考生抽題信息、考生評分表掃描文件、原始成績錄入表。比對考生所抽題號和所考題號，核查考題一致性。抽查部分評分表掃描件，復核錄分可靠性。

2.標準型。在基本達標的基礎上，增加采集考生入場/簽出照片，檢錄/簽出視頻，考務流程數據(考生各站考試時間、考組/座位號)、筆試答卷掃描文件。比對報名、檢錄、簽出照片，核查考生身份一致性。檢查考生各站考試時間、分配的座位號，篩選考試缺項考生。抽查考務監控視頻，核查檢錄/簽出環節規范性。核查同一時段、同一座位分配考生的唯一性，核查流程規范性。抽查筆試答卷，核查考官閱卷可靠性。

3.示范型。在標準型的基礎上，增加采集考生體檢、基本操作的視頻答卷。隨機抽取部分視頻答卷復評，核查考官現場評價可靠性。

(四)數字化考試測評系統的初步應用。

國家醫考中心在2019年的醫師資格考試實踐技能考試中，通過全部基地統一使用抽題軟件，開始了數字化考試測評的應用。這次抽題軟件應用于醫師資格考試實踐技能考試的臨床、口腔、公共衛生三個類別和鄉村全科執業助理醫師。從實施情況看，絕大部分基地的軟件安裝、演練、現場使用均順利進行，部分基地在實施過程中也暴露了一些問題，包括設備準備不足、缺乏信息技術保障人員、事前演練環節缺失。后期將通過核查抽題和考題的一致性，評估考務組織的規范性。

三、討 論

醫師資格考試作為各國最普遍采用的醫師資格認定形式，在我國已有近20年的歷程。確立醫師資格考試制度，有助于加強醫師隊伍建設，有益于保持醫療衛生服務質量和水平，有利于提高醫師職業素養[1-2]。醫師資格考試包括了實踐技能考試和醫學綜合筆試兩部分，醫師行業獨有的特點是實踐性，醫師資格考試的核心和內涵體現在實踐技能考試中，所以實踐技能考試的測評工作尤為重要。

目前，實踐技能考試測評工作面臨以下問題：(1)考生數量多且基地分布廣，加之技能考試內容多、耗時長，因此考試測評工作任務繁重，考試質量控制手段缺乏；(2)基地設施差異大，考務人員數量有限，缺乏統一培訓，各地考官均質性不一，現場考評主觀性強等因素，均影響考核效度，評價的同質化程度不高；(3)實踐技能考試分散在各地考點進行，由各考點具體組織實施，考試過程不可回溯，因而無法具體掌握各考點的考試詳情。

為解決上述問題，建立健全考試基地建設、加強考官培訓、優化考試測評系統等措施勢在必行。目前，國家制定和下發了國家醫師資格實踐技能考試基地建設規劃和建設標準；確定了國家基地實行評估認定考核制度，提出實現技能考試在國家基地進行。江蘇省進一步建立了省醫學考試中心，統籌推進基地建設和組織實施考試工作，充分利用江蘇省內豐富的醫學院校資源，使用高等醫學院校的臨床技能中心，創建國家實踐技能考試和考官培訓基地[3]，并率先建立了數字化考試測評原型。

通過數字化考試測評系統實現整合醫師資格考試實踐技能考試所有視頻資料，形成操作視頻的標準化集中存儲、管理和評估，未來借助網絡專線與前置服務器可將各考區數字化考務系統接入平臺，實現跨區域的操作視頻互聯互通，考官可以完成基于數字化考試測評系統的遠程評估、多考點綜合評估，將更加有效保證實踐技能考試集中進行，從而保證考試流程更科學有序，更易統一考試標準，提高考核信度，使得實踐考試更加公平公正。未來，數字化考試測評系統的進一步完善，可以根據各地區情況，分地區逐步實現考官網絡評判，經過一定時期的試行可擴大至全國范圍，可有效降低醫師資格考試實踐技能考試的人力資源成本，提高技能考試的評估效率，提供可供追溯的視頻資源，不斷規范考官培訓和考試評分的規范化，提升考試評價的同質化，推進國家醫師資格實踐技能考試基地建設的標準化，促進國家醫師資格實踐技能考試的科學性、公平公正和規范化。