初中化學實驗操作考試智能賦分的試驗與思考

徐睿

摘要： 從國家課程教學改革背景下化學實驗操作考試對智能賦分系統的迫切需求出發，在實際應用場景中對四家公司的智能賦分系統開展試驗，通過對試驗數據的收集和分析，評估系統的賦分能力和存在的典型問題，并對系統的進一步開發與應用提出建議。

關鍵詞： 初中化學； 實驗操作考試； 智能賦分

文章編號： 10056629（2024）03002207中圖分類號： G6338文獻標識碼： B

1背景

1.1改革的導向和成效

2019年11月，教育部發布《關于加強和改進中小學實驗教學的意見》，其中主要舉措的第6條“健全實驗教學評價機制”中明確指出“2023年前要將實驗操作納入初中學業水平考試，考試成績納入高中階段學校招生錄取依據”［1］。截至2021年12月，全國共有19個?。ㄗ灾螀^、直轄市）統一加試實驗操作考試，其中8個省采取省級統一命題、統一組織實施［2］。

2021年5月，根據《上海市進一步推進高中階段學?？荚囌猩贫雀母飳嵤┮庖姟?，上海實施了中考改革后的首次化學實驗操作考試，考試由上海市教育考試院統一命題并組織實施?；瘜W實驗操作考試作為上海市初中學業水平考試綜合測試的一個組成部分，滿分5分，考試時長15分鐘，為減少實驗操作考試的偶然性，每位考生需要連續完成2次化學實驗操作考試，取2次考試中的高分記入中考總分［3］。

將實驗操作考試納入中考計分的改革舉措，對一線的實驗教學起到了很好的導向作用。教師在教學中普遍增加了學生動手開展真實化學實驗的機會，關注學生實驗操作規范性的落實，對提高學生開展科學探究活動的效率、豐富學習經歷、增強學習體驗、全面發展核心素養具有重要意義。在2021年秋季對上海某區的課程與教學調研中發現，某節高一、高二學生均可選修的化學拓展課中，新入學才兩個多月的高一新生（新中考政策的第一屆初中畢業生）在實驗操作的規范性和效率等方面明顯優于已就讀一年多的高二學生，并由此影響到學習的積極性和方案設計、觀察記錄、數據處理、結論獲取等各個探究環節的質量?？梢姼母锱e措產生了立竿見影的效果。

1.2實驗操作考試面臨的挑戰

中考的實驗操作考試是實作評價的一種形式，具有大規模、高利害的性質，相比紙筆測試，必然在考試的組織和公平性等方面面臨巨大的挑戰。

2021年上海的實驗操作考試采用現場一評和在集中評閱點的視頻二評相結合的方式開展，由于現場一評1人監考4名考生，監考教師具有一定的缺口，有的區需要組織高中化學教師參加為期2天的一評。二評幾乎需要投入所有的初中化學教師，周期也較長，由于5月份正值學生復習迎考的關鍵階段，給學校和教師造成較大的壓力。人員多、周期長也給各區的經費投入造成了一定的壓力。2023年，該考試取消現場評分，全部改為視頻評分，盡管隨著評分方式和考務流程的優化，組織工作壓力有所減小，但仍無法解決視頻閱卷中人員多、周期長的問題。

撇開命題、評分標準、考試組織管理等方面的因素，盡管事先對相關的評分人員都有專門的培訓，但無論是現場評分還是視頻評分，都存在評分員的個體差異性和主觀性造成的公平性問題?，F場評分中評分員有時很難同時觀察多個考生的關鍵動作，甚至很難做到長時間的高度關注；視頻評分中鏡頭視角的信息往往不夠全面，需要評分員進行主觀推測。

開發和應用智能賦分系統不僅是解決上述問題的一種重要思路，也可以促進日常教學中對學生實驗操作的訓練、矯正和過程性評價等。上海在新中考方案設計之初，就為實驗操作考試的智能賦分預設了各種硬件條件。截至2021年5月，共建成理化實驗操作考點391個，每個考點至少有一個化學標準化考場。標準化考場中的儀器配備實現了區內統一，每個實驗臺上都至少配有前視和俯視兩路高清攝像頭，可以記錄學生在實驗臺上規定范圍內完成的所有操作。這些條件已經在兩年的真實考試運行中發揮了重要作用，也是智能賦分的基礎。

智能賦分系統的核心是智能算法，全國已有多家公司在實驗操作考試智能賦分方面投入了研發力量，這些已有的方案能否滿足大規模高利害考試的要求，需要開展基于實證的教學研究。

2實驗操作考試智能賦分的試驗

2.1試驗的對象

K、 L、 M、 N四家公司的實驗操作考試智能賦分系統，每家公司的系統除了智能賦分的軟件和考試管理軟件，還包括實驗臺、攝像設備、相關實驗儀器設備、網絡傳輸系統、數據存儲系統、算法服務器等。其中L公司在一些玻璃實驗儀器上做了一些標記，在天平中植入了藍牙模塊用于傳輸天平讀數給系統；M公司采用了三攝像頭的方案，第三個攝像頭位于實驗臺的側面。

2.2使用的試題

試驗采用歷年上?；瘜W實驗操作技能考試的2組試題，其考查內容和評分點見表1。2組試題涉及的實驗操作具有一定的代表性和覆蓋面，可以較好地檢驗智能賦分系統在實驗操作考試中的可靠性。

2.3試驗的設計

試驗由12位青年教師模擬考生參加測試，每位教師先后完成A、B兩組試題，由智能賦分系統進行打分。表1試題考查內容和評分點〖XB，HT8.H，J*2;Y2<續表>〗組別考查內容評分點編號A氣密性檢查氣密性檢查操作正確A1氣密性檢查中現象與結論一致A2搭建制備二氧化碳的裝置儀器選擇正確A3集氣瓶口向上A4用電子天平稱取一塊大理石放上稱量紙，正確“歸零”A5質量記錄準確A6將大理石轉移至大試管底部固體由試管口緩緩滑到試管底部A7將稀鹽酸倒入大試管中傾倒方法正確A8鑒別氫氧化鈉溶液與氫氧化鈣溶液現象描述正確A9結論正確A10B量取20mL蒸餾水量筒讀數方法正確B1液體體積正確B2攪拌使粗鹽溶解玻璃棒攪拌動作正確B3制作過濾器濾紙緊貼漏斗內壁B4搭建過濾裝置漏斗下端尖嘴處緊靠燒杯內壁B5過濾操作轉移液體時燒杯緊靠玻璃棒，玻璃棒末端輕抵三層濾紙處B6液面低于濾紙邊緣B7用滴管吸取濾液后滴加入試管中膠頭滴管使用正確B8鑒別硝酸鋇溶液與硝酸銀溶液現象描述正確B9結論正確B10測試前一天專門組織參加測試的教師開展研討，完成以下任務：

（1） 明確每個評分點得分的操作要領，例如B3的動作要領包括：①玻璃棒不敲擊燒杯內壁；②液體不濺出；③可溶性固體完全溶解。

（2） 通過討論盡可能羅列每個評分點可能出現的錯誤操作，例如B3可能出現的錯誤操作有：①使用玻璃棒以外的物件（如滴管、藥匙等）進行攪拌；②玻璃棒敲擊燒杯內壁；③攪拌時有液體濺出；④有攪拌動作，但玻璃棒未伸入液面甚至未伸入燒杯；⑤玻璃棒伸入液面，但沒有攪拌；⑥用玻璃棒碾壓燒杯底部未溶解的固體；⑦有攪拌動作，但是持續時間很短，可溶性固體未完全溶解……

（3） 明確每位教師在測試時的分工：在哪些評分點得分，哪些評分點故意做錯失分，以何種錯誤動作失分。

最終，每位教師在參加測試前都會拿到一份個性化的任務清單，明確每個評分點需要做出的動作，例如6號教師的任務清單如表2REF_Ref155130302所示。

對各公司導出的原始評分數據進行處理后得到的總正確率、對正確操作判斷的正確率、對錯誤操作判斷的正確率、逐個評分點正確率情況如圖1、圖2所示。

圖1總正確率、對正確操作判斷的正確率、對錯誤操作判斷的正確率

圖2各評分點正確率

（1） 從圖1可知，幾家公司的智能賦分系統評分的總正確率普遍不高，其中M公司由于數據導出時出現錯亂，無法在規定時間內解決問題，故正確率接近猜測概率50％，即接近理論上系統最差的表現，因為正確率達到0與達到100％具有同樣的難度。鑒于M公司的數據已不具有分析價值，在后續分析中將其剔除，其三攝像頭的方案是否更加有效也無從分析。

（2） 從圖1還可以發現，各系統對正確操作和錯誤操作的判斷能力各不相同，K判斷正確操作的正確率遠高于判斷錯誤操作，N正好相反，而L兩者比較接近。自動賦分的要求是兩者相當且都比較高，顯然三個系統都沒有達到這樣的要求。K可能是對正確的標準定得比較低；也可能是研究正確的操作比較多，而忽視了研究各種可能出現的錯誤操作。而事實上，考生在實驗操作過程中可能出現的錯誤情況是遠多于正確操作的，賦分系統如何進行判斷需要投入更多的研究。N可能對正確的標準定得過于嚴苛，造成很多正確操作被判為錯誤。當然，以這樣的標準來評判錯誤的操作正確率就高了。

（3） 從圖2REF_Ref155209370可以發現，同一系統在不同評分點、不同系統在同一評分點的正確率都存在較大差異，各系統未體現出應有的可靠性和穩定性。在有些評分點上，部分系統的準確率已經可以達到90％以上甚至100％。例如：A4、 A5、 A7、 A9、 A10、 B10。其中A4、 A5、 A9都是對狀態而不是過程的判斷，相對容易實現。A7的操作盡管是一個過程，但是其中的狀態和過程相對比較容易量化評判，所以有的系統能達到較高的正確率。A10、 B10在提供考生實驗用品時就有固定答案，因此輸入系統的判斷標準非常明確。但各系統獲取考生答題信息的方式不同，有的是通過讓考生在屏幕上直接選擇或輸入，有的是通過攝像頭拍攝考生答卷中的手寫內容進行識別，顯然前者在評分時的難度較小，正確率較高的正是前者。另外考生的書寫也會出現各種可能，如“氫氧化鈉”“氫氧化鈉溶液”“NaOH”“NaOH溶液”等，再加上手寫筆跡的識別、答卷放置的位置和角度等因素，需要系統具有一定的“應變能力”，這也是有些系統在這兩個評分點正確率不高的原因。

（4） 從圖2中部分正確率較低的評分點出發，結合測試前對這些評分點的一些操作預設，發現K、 L、 N三個系統都將錯誤操作判斷為正確的有：①用手捂試管進行氣密性檢查，但是持續時間很短，只有1秒，然后下結論（A1、 A2）；②用燒杯作為收集二氧化碳的容器（A3）；③電子天平讀數比示數略大（A6）；④用量筒量取液體時刻度未朝向自己（B1）；⑤有攪拌動作，但玻璃棒未伸入燒杯（B3）；⑥攪拌時玻璃棒敲擊燒杯內壁（B3）；⑦濾紙緊貼漏斗壁，但側面或底部已有破損（B4）；⑧實驗現象中沒有沉淀，但是試卷上回答“有沉淀”（B9）。三個系統都將正確操作判斷為錯誤的有：①將大理石轉移到大試管底部（A7）；②過濾器的制作（B4）；③使用滴管滴加液體入試管中（B8）。這些問題的產生，主要有以下方面的原因：①系統對正確操作的“理解“不夠全面細致，判斷時利用的信息不夠全面，斷章取義抓局部來進行評判；②對持續的過程進行評判的能力不足；③在多個評分點之間存在關聯時，評判邏輯存在問題；④對實驗中的某些信息捕捉不夠全面、精準，影響后面的評判；⑤對某些評判標準的閾值設定與人工判定存在差距。

（5） 從圖2中L系統的表現來看，由于其在一些儀器上使用了一些輔助手段，使容器口等部位更加容易判斷，實驗數據更容易傳輸，使得A4、 A6、 A7、 B2、 B8等相關評分點正確率高于平均值。但提升并不顯著，遠未達到優秀水平。測試過程中也發現，由于在天平增加藍牙模塊后降低了天平的靈敏度，嚴重影響了正確的稱量操作和讀數。

3試驗中反映出的問題

從測試的情況來看，各家公司都能通過智能賦分系統多角度地捕捉考生的行為，并能通過一定的算法校正圖像畸變后對考生的行為進行進一步的判斷，判斷一般都是通過物體識別、空間定位、關鍵幀捕捉等方式實現。但在真實環境中的測試結果并不理想，還遠未達到大規模、高利害考試自動賦分的要求。通過試驗中的數據分析和日常的調研訪談，可以提煉出以下一些需要解決的問題或困難。

3.1系統獲取信息的完整性

各系統獲取考生實驗操作信息的方式比較單一，即依靠固定式雙路攝像頭的純視覺方案來獲取信息。

即使考生嚴格按照要求，所有操作都在實驗臺劃定的框線范圍內進行，也可能無意中發生以下情況：手部或頭部在活動過程中遮擋部分或全部攝像頭，就算只是瞬間，也可能丟失關鍵信息；實驗過程中可能有液體濺到攝像頭上或者產生霧氣影響視頻質量；儀器之間互相有遮擋，甚至個別儀器直接放在完全遮擋鏡頭的位置……

另外，考生在實驗過程中肯定優先滿足自己的實驗和觀察需要，而攝像頭卻是從正對考生的視角進行信息采集，從而導致丟失關鍵信息。例如：考生在使用量筒時會優先將有刻度的一側對準自己，而攝像頭就只能拍到量筒沒有刻度的一側。

3.2系統所獲信息的準確識別

通過記錄的視頻進行準確的識別對系統也極具挑戰性?；瘜W實驗中的很多儀器、試劑都是無色透明的，有時還存在反光的問題，這些因素會對其識別增加很大的難度，更何況還有光強、顏色、照射角度等環境因素的變化。

化學實驗中，有些時候會涉及微小量或微小變化的判斷，例如：一滴水是否滴到試管以外，漏斗下端是否緊靠燒杯內壁，固體是否完全溶解，顏色是否全部變白……這些都對系統提出了很高的要求。

此外，如何識別考生視角的信息也有難度。例如：如何從視頻中判斷考生視角下的量筒讀數，如何準確識別考生在屏幕上或者答卷上書寫的文字、符號、圖示等。

3.3評分的標準把握

系統不會天生就有評分的標準，一定需要人為提供基本的原則或者典型的案例來生成。但是，人不可能給系統窮舉出所有可能的情況，甚至無法提供一個明確的劃分標準。例如：在固固加熱制氧氣的裝置中，要求試管口略向下傾斜。從系統開發者的角度，當然是希望能從化學教師這里問出這個試管傾斜的角度在幾度到幾度的范圍內，但我們能說得出來嗎？即使說得出來，考生如果超出0.5°就要扣分嗎？我們只知道這個傾斜的程度要讓固體不會滑向試管口而水卻能流向試管口，系統開發者的任務就是要將這樣的要求轉化為系統的評判能力。

3.4系統的普適性

好的系統應該能夠在面對不同的場景、不同的考生、不同的實驗內容、不同的儀器設備、不同的操作方法等時都有很好的適應性和穩定性。例如，同一個基本實驗操作會在不同的實驗中進行考查；有的實驗會有多種合理的操作順序；有的考生會在實驗失敗后在考試允許的時間內進行重做等。這就需要系統有能力從一個過程的角度對實驗行為的規范性、合理性等方面進行全面判斷，而不是僅從一個時間點或一個關鍵幀。

4對于化學實驗操作考試智能賦分系統開發與應用的建議

4.1基于課標要求和考試測量規范

智能賦分系統的開發是為教學和評價服務的，應嚴格遵守化學課程標準規定的內容與要求，不能為了系統開發的方便而隨意改變教學內容、操作方法、實驗儀器等。

如果為了智能賦分的方便，而專門制造一些看上去非常特殊的儀器，往往會對教學和評價產生很多負面影響。例如，有的公司在量筒的底部裝了一個綠色LED燈珠，讀數的時候打開燈光，凹液面一目了然，人和系統辨識起來都非常容易。但是，這樣的量筒可能會對液體顏色的觀察造成干擾，依賴特殊燈光的讀數方法對學生實驗能力的培養也未必是好事，另外這樣的厚底量筒也顯得很笨重，操作起來并不方便。有的公司在有些玻璃儀器的特殊位置畫上粗線條，如試管口、距試管底部三分之一處等。這樣的儀器有可能會影響學生對凹液面的觀察，在考試中也會對考生產生提示作用（有時可能是誤導）。

在考試過程中，系統不應對考生提出額外的要求。例如，有的系統為了方便將考生的行為與評分點對應，要求考生在每個小題的操作完成后都要通過點擊才能進入下一環節的操作。這樣的額外要求不利于原本連貫的實驗操作順利進行，也必然會影響考試評價的效度，因為在實驗操作技能之外還附加了“考試技能”的要求。

4.2利用多元的信息采集設備

系統在視頻采集方面，除了原有的固定式攝像頭，還可以增加考生視角的攝像頭，將很大程度解決遮擋和視角差異造成的一系列問題，智能眼鏡、頭戴式攝像頭等都是可以考慮的方案。

目前在智能駕駛方面，除了極個別品牌還堅持用“純視覺”方案外，很多廠商都采用了包括攝像頭、激光雷達、毫米波雷達、超聲波雷達等傳感器在內的多傳感器融合方案。這也可以為智能賦分系統的建設打開思路。例如，在實驗臺面和試劑瓶底部埋設霍爾傳感器，就可以很方便地感知試劑瓶被動用的時間、順序等；如果再加上質量傳感器，就還可以知道試劑的用量；其實前面提到的天平增加藍牙模塊也是很好的思路，前提是不能影響天平原有的性能。

多元信息采集設備使用時，不能改變原有的教學要求和操作方式等，要“無感”地發揮作用。另外，在系統開發時，要關注不同采集設備獲取到的信息之間的相互印證。例如，前面提到的攪拌過程中玻璃棒是否敲擊燒杯壁不容易判斷的問題，就可以結合視頻和音頻進行綜合判斷。當然，成本也是需要考慮的重要因素，但是在探索階段不妨可以大膽一些，畢竟有些硬件在技術成熟和大規模使用后成本會大幅降低。

4.3加強系統的智能算法研究

算法是智能賦分系統的核心和靈魂，僅靠窮舉和簡單的條件判斷還算不上真正的智能。智能的系統應該具有不斷學習和優化的能力，需要用人工標注的數據集來對其進行訓練。訓練素材一定要保證高質量，需要組織優秀教師團隊，通過研討、培訓統一標準，然后才能生成可靠、優質的訓練素材，促進系統的不斷迭代優化。歷年的實驗操作考試中積累的視頻素材和賦分未必符合系統初期訓練素材的質量要求。

4.4形成應用和完善的良性循環

優秀的智能賦分系統不可能一蹴而就，需要在實踐中發現問題、不斷完善。我們可以讓其先在簡單的場景中使用起來，一是可以積累更多的系統訓練素材，二是可以減輕部分工作壓力。例如，可以讓系統先在一些客觀性強、變數少的評分點取代人工進行評判；或者在教師對視頻進行評分時，通過系統的算法對需要教師重點觀看的時間段進行提示，從而提高教師閱卷的效率。

除了將智能賦分系統應用于實驗操作考試外，還可以探索在日常教學中將其用于化學探究能力的訓練、評價和反饋，包括實驗設計、操作、測量、觀察、數據和現象的呈現、分析、結論、評價等各個方面［4］。這樣的應用不僅可以推動系統充分發揮文本分析、圖形分析等方面AI技術的優勢，還可以進一步提升系統的利用率并提高教學效率，同時也讓我們的實驗教學更貼近育人的本源。

4.5提高標準化考場的利用率

化學實驗操作考試的標準化考場不應是每年只用一次或只用一季的教學場所，其價值更應該體現在日常應用中。從標準化考場的建設階段就要考慮其將來的利用率問題，提前從設計上實現考試和日常教學的兼顧。目前不少建成的標準化考場中顯示屏、攝像頭林立，且無法方便拆卸。在不使用視頻記錄功能時弊端盡顯，一是擋視線，不利于教學中交流活動的開展；二是不方便，實驗活動時礙手礙腳，且容易損壞設備。于是平時教師不愿意用，校長舍不得用，造成閑置浪費。建議在標準化考場建設時，相關的裝備要考慮能夠方便拆卸，按需組裝，提升使用的靈活性。

L3級別的自動駕駛已經在國內獲準路試，期盼化學實驗操作考試的智能賦分系統也能早日投入實際應用。

參考文獻：

［1］中華人民共和國教育部.教育部關于加強和改進中小學實驗教學的意見［EB/OL］. http：//www.moe.gov.cn/srcsite/A06/s3321/201911/t20191128_409958.html.

［2］王慧， 孫可， 楊覬風， 陳謙， 何智. 全國各地中考實驗操作考試實施現狀調查報告（一）［J］. 中國現代教育裝備， 2022， （6）： 4～10.

［3］盧致杰. 數字化考試背景下的上海初中理化實驗操作考試實踐［J］. 招生考試研究， 2022， （2）： 23～41.

［4］梁正譽， 鄧峰， 石子欣， 楊維震. 新加坡GCE OLevel化學實驗操作考查評介與啟示［J］. 化學教學， 2023， （10）： 85～91.聚焦課堂案例研究聚焦課堂案例研究“模型認知”素養：內涵與教學進路*全國教育科學規劃教育部重點課題“指向核心素養的中學化學深度學習教學評價研究”（課題編號：DHA210347）的研究成果?！浴半娊庠淼膽谩睘槔?/p>