病理語音規模主觀評測系統研制及效果檢測

陳 彧，黃金峰，陳彥婷

（1.天津理工大學a.聾人工學院，b.馬克思主義學院，天津 300384；2.筑波大學 人類綜合科學學術院，日本茨城縣 305-8577）

病理語音是指罹患各類聽力言語等相關疾病的 人群因自身發音障礙而產出的異常語音[1]。其中，耳聾特別是學語前耳聾（語前聾）是造成病理語音現象的主要疾病之一。由于耳聾發生在語言能力形成之前，語前聾人的聽皮質無法獲取聽覺刺激并形成刺激與意義之間的聯系，致使這一群體極易在實現聽力通道重構、接受言語康復后仍然面臨嚴重的病理語音問題，從而對其人際交往、接受教育、融入社會等帶來嚴峻地挑戰。

病理語音評測是評估人工助聽、輔聽工具使用和言語康復訓練工作效果的重要方法。目前，病理語音評測主要有兩條路徑，即基于言語治療師聽辯的主觀評估[2-3]和基于語音聲學測量的客觀評估[4-5]。當前，主觀評估主要依靠言語治療師個體性的主觀評測，缺乏多人評測結果的綜合比對，具有較強的主觀性。而客觀評估雖已在參數選取和測評方面取得了一定進展，但仍缺乏可靠的及將主、客觀評估結合起來的病理語音評測工具。

鑒于目前國內外尚未有針對漢語的病理語音的評估工具，本項目組開發了一套病理語音規模主觀評測系統，分別邀請多人使用該系統對一組包括語前聾兒病理語音和健聽兒童正常語音等語音數據開展主觀評測，將主觀評測結果與病理語音的聲學測量數據進行比對，以檢驗使用該系統的規模主觀評測結果的評測效果，為改進該系統、并進一步設計將主、客觀評估結合起來的評測工具提供思路。

1 病理語音規模主觀評測系統

在特定語言社團中，作為非專家的母語者具有天然的語音質量評判能力。因此，在邀請非專家評測者開展發音質量評判時，當評判者達到一定數量，所做判斷將更為收斂、且評判結果存在較好的客觀性。

基于這一理念，課題組利用Matlab（版本號：2019a）[6]開發了病理語音規模主觀評測系統（speech subjective evaluation system traintng model，SSEST）。其中，該系統使用了Voicebox工具箱進行語音信號處理，采用了Guide工具模塊進行用于交互的圖形界面設計，目前系統版本為2.6，語音主觀評測系統主界面如圖1所示。

圖1 語音主觀評測系統主界面Fig.1 The main interface of subjective assessment system of speech sound

目前，該系統有“評測人信息錄入”、“設置評測參數”和“導入訓練材料”3個主菜單組成。其中，“評測人信息錄入”菜單用以錄入評測人姓名、年齡和有無病理評測經驗等背景信息；“設置評測參數”用以設置空白界面顯示時長、評測音播放次數和提示音等；“導入訓練材料”用以導入訓練和評測材料的位置索引信息文件，導入該文件后，系統自動對評測語音數據進行隨機亂序。依次完成3個菜單的設置后，系統會自動生成一個評測人數據集以記錄評測人的數據。評測過程中所有設置菜單被鎖定，均將無法再行修改并自動進入語音主觀評測環節。

評測開始后，軟件界面右側會出現評測開始時間、當前評測項目等信息，并提供播放和提交等操作選項；界面左側上半部分出現待評測項目寬帶語譜圖，用以展示語音的聲學特征；下半部分則出現評測者在聽辯后所需回答的問題。其中，主要問題包括輸入所聽到的音節讀音拼寫、給所聽到音節的聲韻調分別打分等。聲、韻和調打分取值范圍從最差至最好依次為1-5分，如“無法分辨”則賦值為0分。在每次評測任務過程中，評測人都可以通過點擊“再次播放”按鈕來反復聽辯評測語音，以得到最準確的評測結果，提高評測數據的準確性和可靠性。

在評測過程中，評測者可以隨時關閉系統退出評測，已完成的評測結果會自動保存在評測人數據集中以便再次展開評測。下次評測開始時，評測會自動讀取評測人數據集，并從有記錄的最后一條完成評測項目的下一條項目開始。當評測完成全部評測項目后，系統會出現評測完成的提示信息。

2 病理語音數據的主、客觀評測

2.1 評測材料

評測材料為項目組所構建的語前聾兒病理語音數據庫中的語音數據。該庫收集了天津市殘疾人康復中心、中國聽力語言康復研究中心（原中國聾兒康復研究中心）的28名語前聾兒、語前聾兒年齡為5歲6個月至6歲6個月，接受人工耳蝸植入3年左右、參與言語康復2年左右，除耳聾外無其他殘疾及認知功能缺陷。健聽兒童與語前聾兒匹配，信陽市一所無聽力私立幼兒園的24名健聽兒童的發音數據（無言語疾病及其他認知功能缺陷）。在語前聾兒病理語音數據庫中，每名兒童各有7 044條發音數據，內容為包含漢語普通話全部21個聲母、39個韻母和4個聲調并兼顧聲韻調平衡分布的雙音節詞語。各條發音數據的探測目標為前字或后字，探測目標之外的另一音節，則是為照顧兒童語言特點而添加的前后綴成分如“小”、“子”等以增加發音詞表的自然度。

針對52名兒童的366 288條待評測發音數據，項目組分別開展了主、客觀評測。其中，主觀評測通過將數據導入病理語音規模主觀評測系統開展，客觀評測則通過提取發音人頂點元音的共振峰參數進行評測。

2.2 主觀評測

主觀評測共招募20名評測人，9男11女，年齡18歲至21歲（Mean=19.42，Std=0.99），均為具有一定評測經驗的病理語言康復專業大學生，無聽覺和言語障礙史。評測工作在滄州師范學院滄州市兒童研究所的實驗室中開展，評測人使用相同型號的實驗主機、耳機等硬件設備，使用相同的操作系統環境和病理語音規模主觀評測系統版本。評測工作不設時間限制，評測人根據各自的節奏開展評測工作。最終，評測人完成全部評測工作的時間大致在2周至6周之間。

完成主觀評測后，將打分結果導出評測系統?？紤]到主觀評分中的人際差異，首先將每位評測人的全部評分結果利用公式（1）將原始評分轉換為Z-Score數據[7]，其計算公式為：

式中，x為某評測人就某條發音數據的原始評分，μ為該評測人總體樣本空間的評分均值，σ則為其總體樣本空間的標準差，z為該條發音數據經過轉換的Z-Score值。

完成數據轉換后，就各條發音數據求取20名評測人的評測結果的平均值，得到54名發音人各7 044條發音數據評分。進而就每名發音人求取全部元音發音數據評分均值All，以及各發音人以頂點元音[a]、[i]、[u]單獨為韻母音節的數據評分均值Corner，共得到52名發音人兩組數據評分均值的數據，主觀評測Z-Score數據的描述性統計結果，如表1所示。

表1 主觀評測Z-Score數據的描述性統計結果Tab.1 The descriptive statistical results of Z-Score data of subjective assessment

2.3 客觀評測

元音空間的計算分析是病理語音客觀評測的常用方法。在某特定語言中，通過測量其元音系統中的頂點元音的前兩個共振峰數據，計算相關聲學指標，從而達到客觀評測元音發音情況的目的。目前，元音空間計算的聲學指標主要有3個評測參數，元音空間面積（vowel space area，VSA）、共振峰中心化比率（formant centralization ratio，FCR）和元音發音指數（vowel articulation index，VAI）[8]。

利用Praat（版本號：6.1.52）[9]提取語音數據中單獨以頂點元音為[a]、[i]、[u]韻母的元音共振峰數據，分別計算52名發音人[i]、[a]、[u]的前兩個共振峰均值數據F1i、F2i、F1a、F2a、F1u、F2u。進而，運用公式（2）-（4）分別求取了各發音人的VSA、FCR和VAI數據，所得到的客觀評測參數的描述性統計結果，如表2所示。

表2 客觀評測參數的描述性統計結果Tab.2 The descriptive statistical results of objective evaluation parameters

3 效果驗證

為驗證評測的客觀性，可以將前文得到的主、客觀評測數據結合起來開展相關分析。一方面，可以檢測主、客觀評測內部各參數的相關性；另一方面，可以通過考察主、客觀評測數據間的關聯，驗證規模主觀評測結果的客觀性。

將All、Corner、VSA、FCR、VAI數據代入R（版本號：4.0.5）環境[10]，采用Hmisc包[11]計算各參數之間的相關性和顯著水平，得到主、客觀參數量之間相關性系數及顯著性結果，如表3所示。主、客觀參數的相關分析結果，如圖2所示，則藉由corrplot包[12]實現。

圖2 主、客觀參數的相關分析結果Fig.2 The correlation analysis results of subjective and objective parameters

由表3和圖2可見，在客觀評測數據方面，FCR分別與VSI、VAI存在強負相關，VSI與VAI之間存在強正相關關系；在主觀評測數據方面，All與Corner存在強正相關關系；在主、客觀評測數據方面，除All與VSA處于邊緣顯著水平（p=0.069）的弱相關外，其余參數之間均呈現顯著的中等相關關系[13]。對比兩組主觀評測參數可以發現，Corner與VSA、VAI、FCR的相關系數r的絕對值分別為0.304、0.356、0.383，均大于All與3個客觀參數間相關系數的絕對值，表明Corner與3個客觀參數間表現出了更強的相關關系。

對于上述相關分析的結果，可以有以下3點考慮：

1）All與Corner存在強正相關關系，說明即使在數據規模較小的情況，頂點元音韻母數據評分均值仍然具有良好的代表性和穩定性，可以有效地反映全體韻母的主觀評測結果的全貌。因此，在更大規模數據的情況下，Corner參數將具有更好的魯棒性，從而替代All參數，以實現病理語音快速、準確的主觀評測的目標。

2）3個客觀參數不僅彼此間存在強相關性，而且與All相比，三者與Corner參數也顯示出了更強的相關性?？紤]到這些元音空間的客觀參數可以通過映射發音生理空間邊界來反映語音發音質量[14]，而Corner參數又可以代表全部元音韻母發音質量的主觀評測結果，主觀評測結果和客觀評測結果之間所存在的一致關系，一方面顯示出基于非專家評測者的規?；饔^評測存在較好的客觀性，另一方面也展現出將主、客觀評測參數結合起來，開展病理語音自動評測的可能性。

3）All參數與3個客觀參數具有一定的相關性但相關程度不如Corner參數的原因可能在于：Corner與客觀參數都是與頂點元音直接相關的，而All參數則反映了全部元音韻母發音質量的主觀評測結果。一般而言，頂點元音是各種語言元音系統中最先和最易于掌握的元音[15]。因此，在現有的主觀評測結果數據中，以頂點元音單獨做韻母的主觀評測得分應該明顯高于某些韻母特別是復雜韻母的得分?？赡苷悄切┲饔^評測得分較低的韻母的存在，造成All與基于頂點元音的客觀參數的相關關系不如Corner的結果。

4 結論

隨著經濟社會和科學技術的快速發展，病理語音檢測工作日益繁重，開發和完善針對漢語普通話的病理語音自動評估工具成為當前相關領域的重點工作之一。本文簡要介紹了項目組開發的一套病理語音規模主觀評測系統，利用該系統對語前聾兒、健聽兒童等語音數據開展主觀評測，根據評測結果提取的All和Corner參數，將其與語音數據的客觀評測參數VSA、VAI、FCR開展了相關分析，并對相關分析的結果進行了比對分析。結果表明，基于非專家評測者的規模主觀評測具有良好的客觀性，主觀評測參數特別是Corner參數具備作為病理語音規模主觀評測系統參數的潛力，并有可能與客觀參數一起，成為病理語音自動評測的指標之一。這一結果，為進一步改進病理語音規模主觀評測系統、并進而設計將主、客觀評估結合起來的評測工具提供了研究思路。