視聽跨通道言語知覺的McGurk效應:證據與模型

洪珊瑚,曾飚

(1.泉州幼兒師范高等?？茖W校 外語旅游學院,福建 泉州 362000;2.英國南威爾士大學 心理系,龐特普里德 翠佛瑞 CF371DL)

視聽言語知覺是指在面對面的言語交流過程中,將來自聽覺和視覺感覺通道的信息有效地融合為統一、連貫和穩定,進而感知和識別語音信號的知覺[1]。比如,在嘈雜的餐廳里,聽話人借助談話對象的口唇、下巴或頭部動作等視覺信息,獲取對方講話內容。但是,當聽話人看到的視覺信息與聽到的語音信息不相匹配時,可能導致聽話人“誤聽”(auditory illusion),將說話人的語音信號感知為不同于視覺或聽覺語音的第三語音。1976年,英國心理學家McGurk和MacDonald報告該現象,被稱為“麥格克效應”(McGurk effect/ illusion)[2]。他們在實驗中給被試呈現兩種不一致的視頻和音頻語音組合刺激:一組是音頻發出的音節為/ba/,視頻唇部發音動作為/ga/;另一組的音頻為/ga/,視頻發音動作為/ba/。結果顯示:前一種刺激組合,絕大多數被試聽到的是音節/da/,不同于/ba/或/ga/,即“融合反應”(fusion);后一組中,多數被試聽到的是/bagba/ 或 /gaba/ ,即“組合反應”(combination)。這一現象揭示了視覺信息對聽覺言語感知的強烈影響,說明日常言語交流不僅僅是聽覺現象,還是視聽跨通道信息的整合加工。也就是說,出現McGurk效應,意味著發生視聽整合,因而McGurk效應的發生率常用于評估視聽整合強弱的指標。

1976年以后,McGurk效應廣泛應用于多感覺通道言語知覺研究,作為探究視聽言語整合機制的實驗工具[3-4]。為理解和解釋這一“誤聽”現象,本研究從證據與模型兩大方面回顧McGurk效應47年研究中較為突出的實證成果,并對McGurk效應的未來研究提出建議。

一、證據

(一)行為證據

1.來自眼動技術的行為證據 關于影響McGurk效應的視覺線索,許多研究者通過使用眼動技術進行探究。Gurler 等發現,McGurk效應易感者注視嘴部的時間比注視其他區域的時間更長,且注視嘴部的時長與McGurk效應的發生率呈正相關[5],說明誘發McGurk效應的視覺線索與嘴部的動作信息(即唇讀信息)相關。另有研究發現,如果被試在聽覺噪音條件下增加對嘴部的注視時間,會導致McGurk 效應發生率的增加;反之,則會降低McGurk 效應的發生率[6]。最近一項眼動研究結果與以上研究相吻合[7]。另外,一項跨語言研究發現,英語母語者的McGurk效應發生率比日語母語者高,他們注視嘴部區域的時間比日語母語者更長[8],這結果進一步表明,影響McGurk效應的視覺信息可能來自嘴部區域。然而,嘴部區域可能不是唯一能引起McGurk效應的視野加工區域。Paré等研究通過操控注視點位置發現,無論是嘴部、眼睛,還是額頭,只要注視點在臉部即可引發McGurk效應[9]。Wilson[10]和Luo[11]等的研究亦支持這一觀點。由此可見,除嘴部外,其他面部位置如下巴、眼、眉、額,甚至頸部或整個頭部的動作皆可能提供有效的視覺信息。對于導致McGurk效應的視覺區域研究間差異的原因可能與研究范式或分析方法不同有關,比如自由注視狀態或控制注視點,以及是紅外捕捉還是粘附人眼角膜的感應線圈[12];亦可能與興趣區(region of interest)劃分不同相關,比如嘴部、口鼻或整個臉部區域。此外,實驗所采用的任務性質或范式亦可能影響McGurk效應的發生率,如在雙重任務條件下,被試注視嘴部,甚至面部區域的時間比單一任務條件下的少,McGurk效應發生率更低[13]。

由此可見,McGurk效應的眼動研究不應僅關注嘴部區域的觀察,而應擴大觀察興趣區,以進一步了解嘴部以外其他區域的視覺信息對其影響作用。后續的研究還應考慮任務性質和分析方法等問題,因為這些因素可能影響實驗結果?？偟膩碚f,對刺激注視的時間和空間位置與 McGurk 效應發生率之間關系的解釋有待未來研究提供更充分的證據。

2.來自語音識別任務的行為證據 (1)感知覺因素。該因素包括刺激的視聽語音信號質量和特征及感知者個體特征等。語音信號的視覺和聽覺質量是影響McGurk效應的重要因素之一。其一,刺激的聽覺環境或聽覺語音信號質量。McGurk效應在聽覺音強低(40dB)比在音強高(70dB)的條件下表現得更加顯著[14]。如果聽覺信號加入噪音干擾,可能導致McGurk效應發生率的增加[7,15]。這說明在聽覺信息質量被弱化的情況下聽者會主動使用視覺信息彌補聽覺信息的不足,因而不匹配的視覺信息會誤導聽者,使聽者感知出與聽覺信息不同的結果而引發McGurk效應。Ganesh 等研究發現,加入聽覺噪音會增加“融合反應”[16],也證明在不利的聽覺環境下,聽者可能對感覺通道進行系統評估而作出對視覺信息的加權,導致McGurk效應發生率的增加。其二,刺激的視覺信息質量。研究表明,通過對刺激視覺信號進行技術處理,如降低視覺分辨率[7]、像素化處理[17]、馬賽克處理[18]等以降低視覺清晰度,或者通過破壞刺激視頻臉部質量,如切分面孔[19]、倒置面孔的嘴部[20]、倒置整個面孔[17]、刪除嘴部區域[21]等以增加感知者對面部信息加工的難度,甚至通過降低視頻播放速度或降低刺激視聽呈現的同步性[22]等,這些操作會降低McGurk效應的發生率。然而,視覺信息的顏色變化[23]或聽覺信息的音調和音高變化[24]幾乎不對McGurk效應造成影響。

語音信號的社會屬性也會影響McGurk效應。如語音信號為非母語口音時,被試可能更多地借助視覺信息進行語音識別,從而導致McGurk效應發生率的增加(母語口音33.63% vs.非母語口音44.03%[25])。一項跨語言研究發現,如果發音者使用非母語口音,盡管其面孔為感知者所熟悉,仍然需要感知者花費更長時間對語音作出識別,McGurk效應發生率更高[26];當刺激發音人的聲音與性別不相匹配時,McGurk效應仍會發生[27]。這說明視覺信息的社會屬性,如熟悉度、性別等,并不能抑制McGurk效應的發生。有趣的是,價值驅動下的視覺信息卻可能影響McGurk效應[11]。這些研究結果表明,McGurk效應具有穩固性。

感知者的個體特征(包括視聽感知覺、唇讀以及視聽整合等能力)亦可影響McGurk效應。聽障患者或聽覺退化者的聽覺感知能力明顯較差。當他們對不一致視聽語音刺激作出反應時,更易受視覺信息影響而引發McGurk效應。比如,植入人工耳蝸(cochlear implantation,CI)的兒童感知McGurk效應的幾率比同齡聽力正常兒童更高[28];老年人的聽覺普遍比視覺退化快,因而依賴視覺信息的程度比年輕人大,導致McGurk效應發生率更高[29-30]。相反地,弱視個體的McGurk效應發生率則低于正常視力者。不過,對弱視在5歲之前得到控制的兒童來說,其感知McGurk效應的程度接近正常兒童[31];使用單眼視覺者比使用雙眼者的McGurk效應顯著減弱[32]。最近一項研究發現,通過模糊視頻講話人的眼睛以迫使ASD兒童延長注視講話人嘴部的時間,可以提高其McGurk效應的發生率[33],這說明個體對McGurk效應易感性(susceptibility to the McGurk effect,MGS)可能與從視覺信號中提取發音位置信息的能力,即與唇讀能力相關[34]。接受8～13年專業音樂訓練的音樂家,比沒有受訓的普通人更不易感知到McGurk效應[35],這可能受個體對某一感覺通道偏好的影響所致。以上這些證據說明McGurk效應受個體對視聽信息依賴程度的調制。

視聽整合能力也是個體感知特征之一,它指的是將所輸入的視覺信息與聽覺信息結合進行言語理解的能力。自閉癥譜系障礙 (ASD) 兒童的McGurk效應發生率比發育正常兒童少[36],這可能因其視聽整合能力存在缺陷所致。然而,有研究表明,ASD兒童的視聽整合能力會隨年齡增長而逐漸提高[37],至16歲時,他們的視聽整合能力可接近正常水平[38]。

(2)非感知覺因素。影響McGurk效應的非感知覺因素包括認知、發展、語言和文化等。注意和心理預期屬于認知因素。來自語音識別任務的行為證據表明聽覺和視覺信息的早期整合發生在前注意階段,當任務負荷不高時,視聽整合可能自動發生[39];當任務負荷較重時,視聽整合則涉及注意的參與,進而改變視聽信息整合結果,影響McGurk效應。當感知者注意力受干擾時,McGurk效應的發生率減少[40],這顯然是感知者未能集中注意力于視聽信息加工而減少視覺信息的影響,導致“誤聽”機率降低;相反,通過引導ASD兒童將注意力集中于口眼部位,McGurk效應的發生率得到提高[33]。另有研究表明,一般性的注意分配即可影響McGurk效應[13]。Barutchu等用兒童日常注意力測驗三分量表發現,與視空間注意和聽覺持續注意相比,視聽雙重注意指數得高分的兒童感知到更強的McGurk效應,說明該效應不僅受注意分配的調制,而且可能與有效融合感官信息所需的注意類型相關[38]。

感知者對視聽信息的心理預期亦可影響McGurk效應。感知者對刺激語音的本族或非本族面孔和口音的心理預期會影響視聽語音識別,延長反應時,引發McGurk效應[26]。同樣,實驗指導語亦可能驅使感知者對“誤聽”有所預期,從而產生不同類型的McGurk效應。如Colin等[15]研究發現,McGurk效應在多項選擇指導語下比在自由反應指導語下更加顯著,而且“組合型”反應多于“融合型”反應。

此外,McGurk效應亦受發展因素的影響,這可能與感知者的唇讀能力有關。經典McGurk效應實驗(1976) 發現,成人被試受視覺信息影響明顯高于學齡前兒童和小學生。另有研究表明,兒童(12 周歲前)的McGurk 效應發生率比成人低[41]?？缯Z言比較研究也得出相似結論,無論中國或英國被試,成人受視覺信息的影響比兒童(8～9歲)更大[42]。究其原因,可從該實驗獲得的結果得到解答——視覺效應與唇讀能力呈顯著正相關。然而,隨年齡的增長,兒童使用視覺信息進行視聽言語識別的頻率會增加。Sekiyama等[43]研究發現,英、日兩組6歲兒童受視覺信息的影響較弱,但6～8歲的英語母語兒童對視覺信息的使用隨年齡的增長而增加。Barutchu等[37]發現,7～13歲兒童的McGurk效應發生率表現出發展的趨勢。另有研究發現,6歲以上的日本CI深度聾兒感知McGurk效應的情況多于6歲以下的同類兒童[28],再次說明兒童視覺信息的使用呈發展趨勢。然而,有研究顯示,不同年齡段的中國兒童在自然聽力環境下的視聽單音節加工,感知McGurk效應的強弱程度非常接近[44],該結果似乎僅支持McGurk效應的穩固性,而沒有支持前面3個研究所發現的發展趨勢的結論。

最后,McGurk效應可能受語言和文化背景的影響。在跨語言的視聽語音識別任務中,英語母語被試的McGurk效應發生率顯著高于日語和漢語母語被試[45-46]。然而,Magnotti等在一次大樣本量的實驗中發現,中國(162人)和美國(145人)2組被試的McGurk效應雖然比率非常接近(48%和44%),但卻存在巨大的個體差異(0%～100%)和刺激間差異 (15%～83 %)[47]。這是否說明,除個體和刺激因素外,其差異還與分析計算方法或實驗的樣本量相關?這些問題有待解答。

(二)腦神經科學證據

1. McGurk效應視聽信息加工的空間位置 許多腦神經科學證據顯示,McGurk效應視聽整合的重要腦區位于顳上溝(the superior temporal sulcus,STS)[48-49]。另有結合EEG和fMRI技術的研究發現,與未能感知McGurk效應的被試相比,感知到McGurk效應的被試在STS腦區有更強的激活情況,不一致的視聽信息輸入在大腦后顳上溝(posterior STS)區域產生沖突并進行整合[50],這與早期的研究結果一致。另外,有研究證明,顳上皮層的激活與唇讀相關[51],而唇讀能力又與McGurk效應的發生率呈顯著正相關[52],這似乎說明以上的腦神經科學證據與有關ASD人群的行為證據相吻合。然而,Bernstein等認為,STS區并非皮層激活的主要腦區,McGurk視聽信息的整合加工涉及更加廣闊的區域,即從左側角回(AG)/緣上回(SMG)至顳中回(MTG)區域[53]。這顯然需要今后的研究擴大腦區觀察范圍,以尋找更多證據支持。

另有研究認為,與McGurk效應相關的腦區是額下回(inferior frontal gyrus,IFG)或左額下溝(left inferior frontal sulcus,LIFS) ,可能與視聽不一致沖突過程有關。Proverbial等的EEG研究發現,大腦右側顳上回( STG )和額下回(IFG)區域都參與對McGurk刺激的加工[54]。早期的MEG實驗證據表明,McGurk效應發生時,IFG區域的神經震蕩增強[55]。近期的一項研究發現,發生McGurk效應時,IFG的激活程度比沒有發生McGurk效應時更強[56]。另有類似發現,刺激在視聽不一致條件下的IFG[48]或LIFS[57]區域激活程度比視聽一致條件下更強烈。由此可見,額下皮層可能與McGurk效應不一致沖突過程有關,且在解決沖突過程中可能存在不同的激活模式。

老年人感知McGurk效應時,大腦功能激活模式與年輕人存在顯著差異。年輕人在初級感覺皮層,即顳上回、鈣裂及左中央后回,表現出比老年人更強的激活;老年人在額背區域(包括額中回和額上回)及頂葉背側區域表現出比年輕人更強的激活[58]。這說明老年人在初級感覺皮層功能不足的情況下,可能更多地借助執行、注意及監測過程功能的腦區進行補償性加工,反映McGurk效應神經基礎的年齡差異。此外,老年人的McGurk效應受聽覺閾值的調制,即McGurk效應的發生率隨聽覺閾值的下降而減少,這與其聽覺和運動區域之間的功能連通性降低有關。Schulte等的“神經功能連接”實驗發現,靜息時,老年人的McGurk效應與運動和聽覺區域間的功能耦合呈負相關,背側注意網絡與感覺運動及初級運動皮層間、凸顯性網絡與視覺皮層間的神經功能連通性,均隨老年人的聽力下降而降低[30],這從另一個角度反映了老齡化引起的聽力損失者感知McGurk效應的神經機制。這種“功能連接”的分析方法為該領域的未來研究開啟了一個全新的視角。

2.McGurk效應視聽信息加工的時間過程 McGurk效應的視聽信息加工過程并非一蹴而就,而是分階段進行的[59-60]。首先,視聽整合可能發生在大腦加工刺激的早期階段。Calvert等使用fMRI研究發現,視聽整合發生在神經通道早期的前詞匯階段[61]。Bernstein等[53]使用EEG研究發現,視聽整合加工的早期時間為<100 ms,表現在緣上回、角回、額下回和背外側前額葉皮層(dorsolateral prefrontal cortex)區域同時激活的反應過程;在160～220 ms時,大腦左側緣上回和角回區域又有突發性激活現象,晚期的激活是否可以被視為與不一致信息沖突的解決過程相關,仍有待進一步考證。有研究表明,視聽整合發生的最早階段在聽覺成分P50和M50上[62]。Beauchamp等[49]在使用TMS干擾STS腦區的激活時發現,TMS的干擾作用只限于聽覺信息啟動(onset)前100 ms和啟動后(offset)100 ms這個狹小的時間窗口有效。在EEG研究中,N1成分主要由早期的聽覺刺激加工造成的,是事件相關電位(ERP)的第一負波。Alsius等在單一任務中觀察到,早期聽覺成分N1和P2在視聽刺激條件下達到峰值的時間早于純聽條件[63];另一項EEG研究發現,N1波幅在發生McGurk 效應時比在沒有發生McGurk效應時更小[64],這些均說明早期階段視覺信息對聽覺加工的抑制作用。

大腦對視聽不一致沖突的處理可能發生在視聽整合啟動后的較晚階段。Kaiser等[55]研究發現,代表加工晚期的Gamma頻段活動在左額下皮層區域達到峰值的時間為320 ms,說明視聽不一致信息沖突和處理可能發生在此階段。Lange等[65]研究發現,與視聽一致刺激相比,視聽不一致刺激的Beta頻段在刺激呈現后的500至800 ms顯示出更強的抑制,提示可能發生視聽不一致沖突,且大腦正在嘗試解決。由此可見,視聽不一致沖突的解決過程可能發生在視聽加工的晚期階段。

綜上,McGurk 效應視聽信息加工的腦區與顳上皮層和額下皮層有關,其視聽信息加工過程的空間位置可能涉及更廣,加工的時間過程可分為早期的視聽整合過程和晚期的視聽不一致沖突處理過程。這2個加工階段是個連續體還是相對獨立的?目前還未能提供有力的證據。未來研究,一方面可擴大腦區激活的觀察范圍,以進一步評估除STS和IFG腦區外的其他視聽加工涉及的腦區在McGurk效應中的作用;另一方面可采用諸如Schulte等(2020)使用的“神經功能連接”分析方法,以進一步考察視聽信息加工的動態過程,加深對該效應認知神經機制的理解。

二、模型

(一)早期理論模型

早期聽覺理論認為,言語感知是分析聽到語音刺激特征,并將之與儲存于大腦的刺激模板進行匹配,若匹配成功,意味著成功地感知刺激[66]。言語感知運動理論(the Motor Theory of Speech Perception)則認為,語音感知具有生理基礎,感知的對象是具有口唇、舌、下巴運動等物理特征的 “發音動作”[67]。這種表征在感知者大腦中的 “發音動作” 可被視為一種相對穩定的運動指令(invariant motor commands),這些運動指令通過與語言相關的機制,指示發音器官做動作。 該理論既描述了McGurk效應本身,又解釋了涉及視聽言語知覺的信息源[5],因而被許多研究者所接受,亦是后續研究的理論基礎。

(二)新興計算模型

1.模糊邏輯感知模型 (the Fuzzy Logical Model of Perception,FLMP) 該模型主張將聽覺和視覺刺激結合起來,獨立評估不同信息源,并以最優化方式對多個信息源進行整合[68],通過模糊識別矩陣,考察視聽信息在言語感知的整合過程中解決加工效率問題。Massaro等對該模型提出4個假設[69]。其研究發現,聽覺和視覺的信息源對聽覺或視覺單通道及視聽跨通道條件下的語音識別具有強烈的影響,聽覺和視覺的加工效率在視聽跨通道狀態下不是累加的。換言之,當聽覺信息源趨于中性或不明確時,視覺信息源對視聽言語感知的影響最大,反之亦然。這個計算模型顯然有助于人們了解言語感知單通道的信息來源和影響視聽整合的信息源,并以評估參數解釋視聽整合過程。此外,Stein等[70]增加超級疊加、疊加和亞疊加3種視聽信息的累加模式進行計算發現,當視聽雙通道信息都比較弱時,視聽信息整合的收益最大。該模型的計算結果與神經科學證據相吻合,具有一定的可操作性和有效性,但存在不足的是,數據采集因耗時長而降低計算效率。

2.差異噪聲編碼模型 (the Noisy Encoding of Disparity Model,NED) 該模型認為,不同個體受視覺信息的影響程度不同,因此感知McGurk 效應的強度也不同。同樣,有的刺激比其他刺激更容易誘發McGurk 效應[71]。該模型包含3個參數:(1)刺激差異(stimulus disparity,D), 即視聽不一致刺激引發McGurk效應強度的大小 ,D值越大,越容易導致McGurk效應;(2)感知噪聲(sensory noise,σ),即個體表征視聽信息時的清晰度和準確度,σ值越大,被試越容易產生McGurk效應;(3)區別閥限(disparity threshold,T),代表個體感知McGurk效應的概率,如果T值低于一定的標準,意味著會發生McGurk效應。在此模型中,D代表刺激差異,σ 和T 代表個體差異。該模型的主要特點是把刺激差異和個體差異區分開來,直接比較不同個體的McGurk效應發生率。其優勢是可以預測個體感知陌生刺激時的McGurk 效應發生率及分離McGurk 刺激間變異?？梢?該模型可以很好地解釋個體間和刺激間變異的問題。

3.因果推斷模型(causal inference in multisensory speech perception,CIMS) 該模型認為,個體面對來自感覺通道的信息時,首先進行因果推理,即先判斷來自不同通道的信息是否同源,然后分配權重,給出是否整合的指令,最后執行指令,即產生或不產生McGurk效應[72]。該模型嘗試解決在多個談話情境里,聽者如何對多個聽覺刺激和視覺刺激來源進行匹配,以避免將談話者甲的聽覺信息與談話者乙的視覺信息混淆而產生錯配。這一因果推理過程有助于理解McGurk 效應的神經基礎和機制。最近,Magnotti等以CIMS模型為框架探討McGurk效應音節和句子感知之間的關系[4],其實驗結果再次證明該模型不僅可以用于解釋McGurk效應,而且可以解釋日常言語感知。

4.分層預測編碼模型(Hierarchical Predictive Coding Model,HPC) 該模型的原理是把連續輸入的視聽言語信息置于預測編碼框架中處理,建立第二共振峰(second formant)和唇形(lip aperture)(即聽覺信息和視覺信息)的動態變化二維空間,通過評估跨感覺通道,動態預測其在McGurk效應視聽言語整合中的作用。它包括3個加工層次:感覺單位、對刺激的動態進行編碼及對多感覺通道的識別。動態預測機制在不一致視聽輸入的感知中起著決定性的作用[73],解釋產生McGurk效應 “融合型”和“組合型”誤聽的機制。

5.線性動態并行交互模型(the Linear Dynamic Parallel Interactive Model,LDPI) 該模型用于描述視聽信息的交互作用導致感知能力的變化。視聽信息包括3個聽覺和視覺信息輸入及這些視聽語音音素類別的內部表征,可用于解釋McGurk效應易感性的個體差異問題。Altieri等[74]嘗試使用LDPI模型模擬臨床人群的McGurk效應,他們采用抑制和促進的方法考查視聽整合的認知機制,同時,通過系統操縱抑制參數值,對自閉癥被試的個體數據進行建模,結果發現被試對McGurk效應的感知能力表現出顯著的個體變異性。該模型的優點是數據采集時間快(比FLMP模型快1/3倍[71]),可提高對幼兒或臨床群體的研究效率。

此外,Kumar等[75]最近提出一個計算模型—— 神經生物學的真實模型(neurobiologically realistic model,NBR),認為控制大規模的大腦網絡動態的生物、物理機制是個體感知變異的基礎。該模型主要用于捕捉視聽跨通道言語感知中觀察到的個體間變異的神經機制。

以上新興的計算模型具有定量計算特點,可利用不同的參數值通過建模方法來描述視聽信息整合過程,每一個計算模型可能偏向于對某一言語加工過程或某些影響因素的解釋。它們不僅為McGurk效應發生的機制提供不同維度的解釋,而且很大程度上提高了視聽言語感知的研究效率。

三、 總結與展望

(1) McGurk效應的界定。筆者傾向于較寬松的觀點,即被試報告的感知結果只要與實際聽覺刺激不同,即可視為發生了McGurk效應,不局限于感知融合型或組合型音節。有研究建議使用符合元分析標準的研究范式,包括標準化刺激(建立開放數據庫)、填充試次及統計結果的完整報告(包括均值標準差等)[12]。這為未來研究打開思路,有利于研究間的比較和標準化數據的積累。

(2)不同語音類型。McGurk效應需要考慮信息整合過程中的語言因素。比如,法語母語者的誤聽類型更多是“組合型”[15],與以英語母語者的McGurk效應經典報告中的“融合型”恰好相反;視覺信息的參與可改善聽覺聲調的識別[76-77];普通話聲調沒有受視聽不一致性的影響[78]。因此,未來研究可嘗試用聲調或其他超音段音位刺激探討McGurk效應的普遍性。這對聲調語言母語者,特別是對特殊兒童的語言早期訓練具有重要的指導意義。

(3)計算模型。McGurk效應受個體差異的影響。比如ASD特殊兒童、文化背景和認知策略不同,其受視覺信息影響的程度不同。未來研究可考慮結合計算模型(如NED模型等)對McGurk效應的個體差異進行測量。另外,大腦神經成像技術可確定McGurk效應的相關腦區及時空反應模式,提供的指標可用計算模型進行參數擬合,這種數據建模的方法極大地提高了McGurk效應的研究效率,更好地揭示McGurk效應的不同階段和群體的神經機制。

(4)特殊人群。目前,McGurk效應的發展研究比較集中于兒童與成人、學齡前與學齡后兒童的對比,缺少對語前幼兒的研究,這不利于對先天性聽障或自閉癥等臨床兒童的最早期發音和唇讀技能訓練。今后應加強針對語前幼兒、特殊兒童及臨床人群的研究。