高風險場景下微表情高暴露的可能性實證研究

魯紹愿, 李婧婷, 東子朝, 王 港, 李 振, 馬崟桓, 王甦菁, 莊東哲

(1.中國科學院心理研究所, 北京 100101;2.中國科學院大學心理學系, 北京 100049;3.江蘇科技大學, 江蘇鎮江 212000;4.濟寧職業技術學院, 山東濟寧 272000;5.中國人民公安大學, 北京 100038)

0 引言

面部表情作為情感的外在表現,分為微表情和宏表情,這兩種表情的區別在于持續時間和強度等。宏表情通常涉及整個面部范圍的運動,持續時間較長,在0.5 ～4 s 之間。 即使受到眨眼或吞咽等小范圍動作的影響,也可以很容易地識別宏表情[1]。 相反,微表情是自發的、微妙的、帶有情緒體驗的局部動作,持續0.04 ～0.2 s[2]。 當人們試圖隱藏或抑制自己的真實情緒時,尤其是在高風險場景下,即使宏表情可以被掩飾,微表情也會泄露出來,從而暴露出真實的情緒[3]。 因此,通過微表情分析識別隱藏情緒的研究正在迅速增多[5],主要集中在微表情自動化檢測和識別技術上。

隨著深度學習技術的出現,計算機視覺在人臉情感識別方面取得了重大進展。 多種面部線索被用作情感計算的特征。 如Benitez-Quiroz 等人提出,利用模型學習面部顏色特征,可以識別個體的面部表情[6]。 此外,微表情作為一種揭示人類情感的線索, 主要的數據庫有 CASME[7-9], SMIC[10],SAMM[11]和MMEW[12],大約1 000 個視頻樣本。 其中,由中國科學院心理研究所創建的CASME 系列數據庫(CASME、CASME Ⅱ、CAS(ME)2)已被來自50 多個國家的600 多個研究團隊申請使用。 在這些數據庫的基礎上,很多學者對自動微表情分析進行了大量的研究,如圖1 所示。 微表情自動分析包括微表情檢測和識別,微表情檢測是對未知視頻中的微表情片段進行定位,微表情識別是對給定的視頻片段進行表情分類。 微表情檢測的方法正在從手工特征差異比較方法[13-14]向深度學習方法[15-16]過渡。 同時,早期的微表情識別的方法是手工特征與機器學習[17-19]相結合,但目前主流的算法是基于深度學習識別微表情[20-22]。

圖1 自動微表情分析的研究趨勢

然而,與微表情自動分析研究相比,關于微表情背后的認知和生理機制的研究卻很少。 這樣的研究是至關重要的,因為在更好地理解微表情背后心理活動的基礎上,可以發展出更準確的分類方法。 最早關于微表情理論的研究是達爾文在《人與動物的表情》中提出,一些面部表情是無法抑制的,即便有極大的主觀努力也無法做到[23]。 而微表情最早是Haggard 和Isaacs 在臨床研究中發現的[24]。 他們認為,微表情是由無意識的沖突抑制引發的一種快速且微弱的表情。 后來,Ekman 和Friesen 逐幀檢查了來訪者的訪談視頻,發現微表情的本質是個體試圖抑制或管理自己的面部動作[25]。 這種無意識的情感泄露通常只會持續很短的時間,然后被隱藏或消失[4]。 研究者們普遍認為,說謊者在高壓下可能會經歷沉重的認知負擔,因為欺騙行為很可能會導致嚴重的后果,主要是被揭露后受到的懲罰[26],在這種情況下,自主和非自主的表情對抗會產生微表情。雖然許多實驗假設微表情與高風險場景高度相關,但沒有實證研究證明它們之間的關系。

模擬犯罪范式具有較高的生態效度,它模擬了一個現實中用于決策的風險場景。 在模擬犯罪研究中,為了激勵被試提供無罪釋放的動機[27],成功作弊的被試會得到獎勵(更多酬勞),失敗的被試會受到懲罰(做數學題)[28]。 而選擇不說謊的被試不會得到任何額外的獎勵和懲罰。 因此對于被試而言,高風險往往意味著高回報,被試可以根據獎懲設置自愿選擇[29-30]。 此外,研究表明,與正常人相比,嫌疑人在回答與犯罪相關的問題時有更明顯的生理反應,包括皮膚電導增加、呼吸抑制更大、心率下降更明顯等[31]。 因此在隱藏信息測試(CIT)過程中,通過與真實回答作進行比較,研究人員可以識別針對欺騙反應的特定生理指標[32],從而區分說謊者和非說謊者[31]。

由于微表情能夠識別隱藏情緒的特性,使微表情在公安偵訊、國家安全等領域具有巨大的應用潛力。 為了保證微表情分析在這類高風險場景下的可靠性和有效性,我們在本文中進行了實證研究,探討微表情的產生機制。 具體來說,為了滿足高生態效度、可行性和倫理要求,在本研究中使用模擬犯罪范式研究欺騙行為,使用CIT 方法進行基于定向反應假說的欺騙檢測實驗過程。 CIT 方法是一種標準化的、易于復制的程序,且不需要專業的訓練[33],因此未經訓練的審訊者也能夠很好地完成。 此外,實驗通過設置不同的獎懲規則,模擬兩種風險水平下的欺騙檢測場景,既具有真實性也符合倫理要求。 本實驗目的是研究風險場景和微表情之間的關系,從而驗證微表情的產生機制假設:與低風險場景相比,當個體在高風險場景中存在欺騙行為時,會產生更多的微表情。

1 方法

在本文中,我們使用了模擬犯罪和CIT 的組合范式,旨在揭示欺騙檢測中微表情的基本原理。 基于此微表情持續時間的定義,本實驗探索了模擬犯罪場景下兩種風險水平的微表情表達規律。 在CIT問題詢問中也進行了創新,加入與問題同步的提示圖片作為視覺刺激,目的是增加被試的認知負荷,從而收集到生態效度高的微表情樣本。 分析數據時,對實驗中錄制的視頻進行編碼,以識別微表情的起始幀和結束幀。 通過編碼微表情視頻的起始幀,可以截取到相應區間的生理信號,即皮膚電活動(EDA)。 通過對數據模態的擴展,我們可以從多個維度分析微表情。 本實驗旨在探討不同風險水平下,生理指標是否有顯著變化,微表情泄露程度是否有顯著差異。

1.1 被試

實驗共招募62 名被試,所有被試的平均年齡為21.22 歲,年齡標準差為0.95,兩兩分為一組,獲得31 組有效數據。 在每組中,一名被試是模擬犯罪和接受審問的被試,另一名被試是審問過程中的審訊員。 各組設置滿足以下條件:每組的被試是同性別的(實驗中共有15 對男性和16 對女性);每組被試彼此不認識,來自不同學?；蛲粚W校不同專業;所有被試的年齡在18 ～26 歲之間;均無精神病史、無心理或認知障礙;均為右利手。

1.2 設備和材料

實驗設備:一個BIOPAC MP160 多通道生理儀器;一個Intel RealSense D415 深度攝像機;一個陣列麥克風和兩臺帶有兩個顯示器的計算機。 具體來說,實驗使用一對11 mm 接觸的Ag-AgCl121 一次性電極,填充等滲凝膠,收集EDA 信號。 傳感器放置在非優勢手手指指腹下方,并用醫用膠帶固定。 實驗中以以200 Hz 的采樣率記錄數據,設備導出數據是相對于每個被試的基線水平的變化值。 深度相機的分辨率為1 280 720 像素,幀率為30 fps。

實驗需要兩個房間分別執行兩項任務。 設置模擬犯罪室和模擬審訊室,使被試在整個實驗中充分體驗執行實際偷竊行為和接受審訊的過程。 為了提高偷竊動機,我們設置了兩個等級的獎懲規則,允許被試自主選擇。 在審訊過程中,使用深度相機收集面部圖像,并使用陣列麥克風記錄語音對話。 模擬訊問過程采用CIT 問題和開放式問題。 當被試回答CIT 問題時,他們面前的顯示器會同時顯示相關問題中提到的關鍵線索的圖片,以增加被試在模擬審問中的視覺刺激和認知負荷。 最后以開放性問題結束審訊過程。 通過設置不同的獎懲規則,本研究模擬兩種不同水平的欺騙風險,探討高、低風險場景下的微表情暴露程度。

1.2.1 模擬犯罪室設置

圖2 和圖3 呈現了房間的布局和關鍵線索。 門的左邊掛著一把傘。 一張長桌子放在離門1 m 遠的地方。 一個筆記本放在桌子上,其中一頁上寫著行李箱的密碼:320。 另外一張桌子下的行李箱里有一套鑰匙和一個立方體(五面為白色,一面為黃色箭頭)。 桌子右邊1 m 的地方有一把椅子。 椅子后面放著一個柜子。 手提箱里的鑰匙可以打開柜子上的鎖。 第一個抽屜里有一個手電筒,第二個抽屜是空的。 第三個抽屜里有一個鼠標,鼠標下面壓著兩張100 元的鈔票。

圖2 模擬犯罪室設置

圖3 模擬犯罪室內的線索

1.2.2 模擬審訊室設置

在入口1 m 處有一張長桌子,桌子后面放著一把椅子(被試的座位),桌子中間有一個電腦顯示屏,如圖4 所示。 在顯示屏前放置陣列麥克風,在顯示屏上方放置Intel RealSense D415 深度攝像機,在顯示屏后放置BIOPAC MP160 多通道生理儀。 在桌子的左右兩側,有一個輔助燈;桌子的前面是審訊員的座位,生理儀器數據顯示放在桌子的旁邊,前面右邊是陪審員(主試)的座位。

圖4 模擬審訊室設置

1.2.3 審訊過程

在模擬審訊室中,我們使用54 個CIT 問題和開放式問題與被試進行交流。 測謊過程中的所有問題都是基于模擬犯罪室內的關鍵線索,如圖3 所示。只有一個問題的線索真實存在于模擬犯罪室中,其他問題的線索都是假的。 要求被試對任務相關的CIT 問題作否定回答,對與個人相關的CIT 問題作肯定回答。 每一組問題中與任務不相關的問題即干擾問題,以確保被試認真傾聽每一個問題并進行不同的回答。 審訊問題例如:

①對于與任務相關的CIT 問題,“桌子上有信封嗎?”,要求被試回答:“沒有”;

②對于與個人有關的CIT 問題,被問及者要回答“是”;

③對于開放式問題,被試需要根據自己的場景和想法做出陳述。

1.3 程序

在本實驗中,被試首先被要求單獨進入模擬犯罪室完成風險決策任務。 具體來說,我們鼓勵被試根據房間里的線索找到隱藏的現金。 在找到現金后,被試可以獨立選擇是否偷竊即完成高風險任務或低風險任務。 高風險和低風險的任務是由他們的行為決定的,如把錢放在口袋里即選擇了高風險任務。 整個任務流程如圖5 的上半部分所示。 在這一過程中,審訊員并不在場。 然后被試需要寫下他們的選擇,并把它們放在信封里。 直到模擬審訊結束后,將打開信封進行結果評估。

在完成模擬犯罪過程后,被試進行模擬審訊任務,在此過程中我們記錄了視頻、音頻和生理數據。被試回答一些與任務相關或不相關(與個人相關)的問題,并回答一些開放式問題。 對于與任務相關的問題,被試應該給出否定的回答,即“不是”。 對與任務無關的問題即一些個人相關的問題,被試應該給出肯定的答案,回答“是”。 對于開放式問題,要求被試根據實際情況如實回答。

最后,我們根據被試在模擬犯罪過程中的選擇和被試在模擬審問任務中的表現來確定被試的報酬。 如果被試選擇了高風險的任務,而審訊員判斷準確,即被試沒有成功欺騙審訊員,只能得到30 元的基本費用。 此外,被試還將被罰150 道基礎數學問題,并要求在10 min 內完成,準確率在95%以上。如果被試選擇了高風險的任務,但審訊員判斷錯誤,即為被試成功欺騙審訊員,將獲得30 元的基本費用,并獲得他們之前偷竊的200 元額外現金。 如果被試選擇了一個低風險的任務,但審訊員判斷錯誤,那么被試將獲得30 元的基本費用和額外的30 元作為獎勵。 否則,如果審訊員有同樣的判斷,也就是說,被試沒有成功對審訊員說謊,這個被試會收到30 元基本費用,以及與上述相同的處罰。 模擬審訊過程中的判斷見圖5 的下半部分。

圖5 模擬犯罪室和審訊程序圖

1.4 數據分析

我們對實驗中記錄的原始數據分別進行處理,包括微表情視頻的標注和生理數據的分析。 由Intel RealSense D415 深度相機錄制的視頻樣本被輸入微表情編碼與共享系統MECSS①http://mecss.psych.ac.cn/進行編碼。 本研究使用的MECSS 是中國科學院心理研究所開發的微表情編碼系統。 在微表情編碼后,根據標注的時間區間截取對應的生理信號,EDA 作為情感和交感神經的敏感、標準的生理指標[34]被輸入到Social Science 26.0 SPSS 的Statistical Package 中進行分析,用于證明在高危環境中的有效性。

本實驗使用了雙人編碼的方法,編碼人員以0.5 倍的速度觀看每個被試的審訊視頻,并在MECSS 系統上標注出與情緒相關的面部動作。 在編碼過程中,只關注有情感意義的表情,排除由眨眼和說話引起的表情。 根據Intelr RealSenseTM D415 相機的參數,15 幀意味著500 ms 的持續時間。 根據微表情持續時間的定義,我們以500 ms(15 幀)為基礎,將錄像中已標注的面部表情分為微表情和宏表情。然而,在視頻采集過程中幀丟失是不可避免的。 考慮到誤差的存在,我們將微表情的幀數判別標準定為小于等于16 幀。 為了避免實驗者效應,兩位編碼員都沒有參與實驗設計和數據收集過程(包括選擇的風險場景和詢問內容)。 詳細的微表情編碼方法請參考CASME 系列數據庫的文章[7-9,37]。 最終兩名編碼人員協商了雙重編碼的結果。 共編碼648 個表情,排除135 個表情,排除率為20.8%,其中15.8%為重復表情;5%是不一致的。 每個表情起始幀和結束幀被用來編碼EDA 數據對應的時間區間。

2 結果

本實驗使用深度相機和BIOPAC 共采集31 組數據。 人工標注面部表情起始幀和終止幀后,截取相應時間區間內的EDA 變化值。 我們利用SPSS 軟件的方差分析檢驗各組間差異,采用Levene 程序檢驗方差齊性,比較被試在不同風險場景下的平均值和標準差。

2.1 個體層面分析

本實驗分析了31 名被試的數據,其中18 名被試選擇了高風險場景,13 名被試選擇了低風險場景。

首先,我們比較了高風險和低風險下微表情的平均數量。 高風險和低風險的人均微表情數之比為1.53。 本文報告的統計結果來自95%置信水平下的獨立樣本t檢驗,差異無統計學意義,t(29) =-1.467,p= 0.153,d= 0.541。 然而,高風險組(M=6.28,SD=4.39)產生的微表情數量高于低風險組(M=4.08,SD=3.71),如表1 所示。 也就是說,在高風險的情況下,微表情有較高的泄漏可能性的趨勢,如圖6 所示。 箱線圖分別表示高風險和低風險下的微表情數量。 水平線表示平均值,同心圓表示中位數。 從圖中可以看出,高風險下微表情的暴露量更大。

表1 高風險場景和低風險場景的微表情組統計

圖6 高風險和低風險下微表情的差異圖

隨后,我們還比較了高風險(t(29) =0.382,p=0.707,d=0.640 )和低風險(M=11.85,SD=9.34)下的平均宏表情數的差異,發現高風險(M=10.72,SD= 5.20)和低風險(M= 11.85,SD=9.34)下的宏表情數差異不顯著。 但我們發現,在95%置信水平下,每個被試的微和宏表情差異顯著,t(30) =4.336,p＜0.01,d=0.78。 宏表情的平均次數(M=11.19,SD=7.42)顯著高于微表情的平均次數(M=5.35,SD=4.20)。 但每個被試的微和宏表情數量之間不存在相關性(r(29) =0.26,p=0.15)。

2.2 表情層面分析

為了便于在EDA 中直接比較高風險和低風險場景,我們計算了表情區間內EDA 的平均值。 此外,采用單因素方差分析(One-way ANOVA)評價模擬犯罪和CIT 設計在誘導生理覺醒方面的有效性。方差齊性檢驗的結果是假設方差相等不成立。 同時,最大振幅方差分析結果顯示,風險的主效應顯著,F(1,511) =13.82,p＜0.01,η2= 0.026。 低風險場景下EDA 的變化(M=7.25,SD=9.79)明顯大于高風險場景(M=4.46,SD=7.18)。

最后,對各表情的EDA 數據進行被試間方差分析。 在收集的數據中,對于每個表情,將表情類型(微表情/宏表情)和風險場景(高風險/低風險)進行分組變量。 2*2 方差分析顯示,風險場景對EDA的變化有顯著的主效應:F(1511) =4.85,p＜0.01,偏η2=0.01,低風險場景(M=6.29,SD=9.78)的EDA 數據顯著高于高風險場景(M=4.48,SD=7.18)。 同時,表情類型對EDA 的變化也有顯著的主效應,F(1511) =5.39,p＜0.01, 偏η2=0.01,宏表情的主效應(M=6.33,SD=8.91)顯著高于微表情的主效應(M=4.43,SD=7.23)。 表情類型與風險場景之間存在顯著交互作用,F(1,511) =6.15,p＜0.05,偏η2=0.01。 相互作用效應趨勢如圖7 所示。 表情類型與風險場景的交互作用表明,不同風險場景下的表情存在不同的生理機制。 同時,不同情景下表情的生理機制與表情類型高度相關[26]。因此,該結論表明,微表情出現在高風險場景下的概率較高。

圖7 表情類型和風險場景的交互作用圖

3 討論

在本節中,我們對實驗中被試的表現和實驗結果進行討論,從而探討可能的原因。 首先討論被試的風險偏好,然后區分被試在高風險場景和低風險場景中產生的不同心理過程,最后得出微表情在高風險場景中更有可能出現的結論。

第一,不同風險場景下收益權衡導致風險偏好。本實驗的創新之處在于使用被試自愿選擇風險場景的范式。 在收集的31 名被試中,有18 名被試自愿選擇高風險,只有13 名被試選擇低風險。 這種對回報的風險偏好與以往的研究一致。 心理學研究表明,當人們在不可避免的損失和額外收益之間做出選擇時,風險偏好就會普遍存在[35]。 無論選擇高賭注還是低賭注,這個實驗都有可能獲得額外的獎勵和懲罰。 因此,在面對足夠的金錢誘惑時,參與模擬犯罪過程的被試表現出經濟收益的風險偏好,所以我們實驗中的被試出現了偏好高風險的現象。

第二,本文統計結果支持高風險與微表情高度相關的假設。 實驗結果表明,在高風險場景中產生的微表情比例高于低風險場景,這證實了Ekman 等人的觀點,即微表情作為泄露信息的線索,適用于高風險的欺騙檢測[25]。 此外,被試在低風險下的欺騙行為不是不偷錢,而是假裝偷了錢。 因為沒有不道德的行為,這種結構使被試缺乏緊張感和罪惡感[36]。 因此,在低風險場景下,人們通常認為自己的欺騙行為并沒有想象的那么嚴重,所以當欺騙發生時,他們的表情泄露得更少。 在本實驗中,高風險場景下的面部表情泄露與低風險場景下的面部表情泄露相比雖然沒有統計學上的顯著性差異,但是存在高風險下微表情產生更多的趨勢,也就是說,在高風險場景下產生的微表情數量更多。 這很可能是因為人們在成功實施欺騙的時候會產生一種成就感,這種成就感受到道德的約束時被壓抑,而在高風險下會更難以控制,最終產生情緒泄露,以微表情的形式表現出來。 因此,相比低風險場景,個體在高風險場景時更可能產生表情線索的泄露——微表情。

第三,不同的風險場景和不同的表情類型下EDA 指標存在顯著差異,且兩者存在交互作用。EDA 指標作為情感和交感神經的敏感、標準的生理指標,可以一定程度上反映出被試內心的真實心理狀態,也就是說,在高風險和低風險場景下被試的交感神經活動存在顯著的差異,同時,在微表情和宏表情下被試的情緒和情感也存在顯著的差異;另外,實驗結果還可以證明在風險場景和表情類型的交互作用下,被試的生理和心理狀態都存在不同。

4 結論

綜上所述,本研究探討了高、低風險場景下生理指標的差異以及高風險場景對微表情的影響。 (1)實驗結果證明了一個以前沒有被實證研究的結論:微表情有更高的概率發生在高風險場景下在生理指標上;(2)不同場景(高風險/低風險)下產生的不同表情(微表情/宏表情)的EDA 指標存在顯著的差異;(3)表情類型(微表情/宏表情)和風險場景(高風險/低風險)存在相互的影響。 因此,在未來的微表情提取和分析中,需要更多地關注高風險場景。并且, 這一結論為后續微表情研究提供了生理機制基礎。

本文的研究使用EDA 來區分高風險和低風險場景。 在未來的研究中,更多的生理指標可以添加到分析過程中。 另外,被試人數的限制也可能是導致實驗結果沒有顯著差異的原因。 因此,未來可以通過增加被試數量開展進一步的結果分析。 同時,我們將嘗試在更多的高風險范式中捕捉微表情,并研究相應的微表情生成機制。