基于Gabor融合特征的疲勞判斷模型研究

王崴緒 閆小雪

（重慶人文科技學院，重慶 401524）

隨著我國現代化不斷推進和汽車私有化不斷加深，疲勞駕駛問題已經日益凸顯。目前針對疲勞駕駛的研究方向主要分為車輛行為、生理信號和面部特征3 個方面[1-3]。1）車輛行為檢測的主要依據為駕駛員疲勞產生的認知水平下降，導致在車輛駕駛過程中出現異常行為，通過異常行為進行疲勞判斷[4]。2）生理信號檢測的主要依據為腦電波信號、心電信號和不同部位的肌肉信號等。3）面部特征主要從人臉中容易提取特征的部位進行特征提取，如眼部、嘴部等變化較明顯。同時，在駕駛過程中頭部狀態也是關鍵信息的主要來源。

上述3 種方法各有優、缺點，如車輛行為的檢測存在滯后性、靈敏度低等缺點[5]，同時，上述方法都只針對疲勞特征進行駕駛員疲勞狀態研究，忽略了駕駛過程中的環境因素對駕駛員的影響。例如當駕駛員周圍存在其他乘客與其交談的情況可以在一定程度上減緩駕駛員的疲勞程度，交談的內容也會影響駕駛員的大腦活躍程度，因此可以通過駕駛過程中出現的表情分析當前狀況，以準確預測駕駛員地疲勞程度，并對其進行預警。

1 數據集與特征提取

1.1 數據集獲取

本文試驗采用的試大巴司機駕駛過程中的表情數據集，選取了3 名駕駛員對象，年齡為30～40 歲。對試驗過程中的疲勞感受進行調研，得出該段時間的疲勞情況。為了盡量避免情緒上的干擾，本文試驗確保司機駕駛前處于平靜狀態，同時為了確保能夠得到真實的非疲勞與疲勞數據，分別在駕駛過程初和駕駛過程中后段進行數據集提取。本文在試驗過程中得到了約6000 張駕駛圖片樣本。

試驗中分別在不同駕駛時間段，對不同駕駛員進行疲勞數據集獲取，并對其進行疲勞調研。根據受試者的表述，量表對應等級見表1。

表1 疲勞等級對應表

表1 將駕駛員狀態劃分為4 個等級。研究表明，從駕駛員無疲勞開始計時，約3h 后會產生相應的疲勞狀態，交通意外概率開始上升，4h 后交通意外概率約為3h 的1.5倍。接近7h 時，駕駛員會進入間接性睡眠，此時已經十分危險。因此，將上述3 種情況分別對應為輕度疲勞、中度疲勞和重度疲勞。本文在此基礎上加入影響疲勞狀程度的情緒因素，以更準確地判斷相應疲勞等級的產生時間。

1.2 Gabor 多尺度融合特征提取

由于本文需要研究不同情緒對疲勞的影響，因此需要提取駕駛員表情特征并進行分類。為了更全面地獲取臉部特征，利用Gabor 濾波器的特性對其進行提取。但是由于Gabor 濾波器得到的5 個尺度、8 個方向的特征計算量較大，因此根據多尺度融合規則對其進行特征融合。為了不遺漏臉部存在的任何可能的特征，結合分塊直方圖對全局特征具有良好描述性的特點對其進行分析。最后為了防止丟失細節，將得到的融合特征直方圖分成相等且不重疊的6×6 個小塊，逐個進行分塊直方圖描述分析。

1.2.1 特征圖融合規則

特征圖融合規則的特點是保留了不同尺度和方向的特征值，加強了圖片細節特征的保護，然后對保留的特征值進行二進制編碼。該規則同時也對Gabor 濾波的虛部部分進行了保留處理，同時根據規則對實部和虛部進行編碼。得到相應的編碼后，對其進行0～255 的十進制處理，得到5 個不同方向的尺度特征值。經該規則融合后的圖像保留了特征最明顯的信息，減少了重復或不必要的冗余信息。融合后的圖像具有豐富的紋理特征信息，提高了局部特征識別清晰度，具有良好的識別性。

1.2.2 特征分塊直方圖

直接對融合圖像進行描述會造成大量的細節丟失，因為本文將融合后的特征圖進行分割，再對分割后的特征圖進行直方圖描述，以保留大量細節。為避免數據過于冗余，將其以6×6 方式進行切割，最終，每個特征圖都將得到36塊特征直方圖。每個矩形特征直方圖子塊如公式（1）、公式（2）所示。

式中：v為尺度；r為子塊。

試驗中，將每個融合圖像分割成6×6 個子塊，對于融合圖像Tv（z）（v∈（0，...，4）），每個矩形子塊可以表示為Rv，r（z）（v∈（0，...，4），r∈（0，...，36）），每個hv，r，i表示一個子塊所對應的直方圖，反映了該局部區域內縫紉整體灰度變化。每個融合編碼表示不同的局部特征。該圖存儲大量的鄰域信息，加強了局部特征與整體特征的關聯性，細微部分的特征也有所體現。

2 建立疲勞判斷策略模型

2.1 建立表情權重模型

在駕駛過程中，由于環境的變化可能是隨機的，因此需要考慮環境對疲勞程度的影響。根據駕駛員對當前駕駛環境的反應可以判斷其疲勞程度。為了結合實際判斷6種基本表情，即生氣（anger）、快樂（happiness）、驚訝（surprise）、厭惡（disgust）、中立（normal）和蔑視（despise）對疲勞狀態的影響，本文對200 余名駕駛人員進行重要性打分法問卷調查。調研結果顯示，駕駛員長時間處于平靜狀態也會產生疲勞，因此，本文將中立表情與疲勞表情歸類為促進疲勞分類，其余表情歸為抵抗疲勞分類。

目前研究表明，正常的駕駛員連續駕駛3h 后會產生疲勞且交通意外也會開始增加。當駕駛員連續駕駛4h 后，交通意外的發生率開始陡增，是3h 的1.5 倍。已有文獻（本文獻記錄了1000 名法國卡車司機的駕駛過程）描述駕駛員在一段封閉的試驗道路上駕駛，直到駕駛員出現3 次睡著狀況時停止試驗。試驗表明，出現該狀況的駕駛時間段為7h～12h。

駕駛環境的變化會影響駕駛員的疲勞狀態。在駕駛過程中，駕駛員產生的表情決定了當前駕駛員的精神狀況，駕駛員周圍的情況可能會影響駕駛員從非疲勞到疲勞的過渡時間。從心理學上講，人類需要適當的外界刺激才能使大腦活動維持在較高水平。當駕駛員在既寬廣又平坦的高速公路上駕駛時，大腦長時間處于刺激較少的狀態，大腦活動會受到抑制，從而產生疲倦和懈怠。在高速路上，大部分駕駛員會一直盯著前方車輛，如果前方沒有車，就只能望向這條道路的盡頭。找不到視野目標，駕駛員的視野范圍就會變窄，對速度的感受力也會下降。

當駕駛員周圍有其他乘客存在且與該乘客存在互動行為時，駕駛員的大腦皮層進入興奮狀態，可以抵抗進入高速催眠的疲勞狀態，同時可以適當延長駕駛員的駕駛時間。此時，駕駛員可能會因與乘客的互動而產生積極的表情，例如高興、驚訝等，其精神狀態不再由大腦受到的刺激較少而受到抑制，因此可以適當延長疲勞的預警時間。當駕駛員周圍沒有刺激時，會長時間處于中立表情，系統應當考慮高速催眠效應，提前對駕駛員進行疲勞預警。

從上述分析可知，安靜的駕駛環境會加速司機疲勞，綜合分析駕駛數據后，需要引入不同表情對疲勞的影響權重指數。因此，本文將中立表情與疲勞表情歸為促進疲勞分類，其余表情為抵抗疲勞分類。

根據調研結果分別計算抵抗疲勞表情和促進疲勞表情的權重值。利用AHP 層次分析法計算權重前需要構建判斷矩陣，見表2、表3。

表2 抵抗疲勞AHP 層次分析判斷矩陣

表3 促進疲勞AHP 層次分析判斷矩陣

經分析后所得抵抗疲勞表情權重值如圖1所示。

圖1 抵抗疲勞表情權重值百分比分布圖

圖2 促進疲勞表情權重值百分比分布圖

綜上所述，對所有表情權重值進行歸一化處理。抵抗疲勞進行負值運算，可得如公式（3）所示的疲勞指數計算公式。

式中：W為當前疲勞指數；H、C、D、S、A、N、F分別為快樂、蔑視、厭惡、驚訝、生氣、中立、疲勞表情權重指數；h、c、d、s、a、n、f分別為對應表情在一段視頻中出現的頻率；m為圖片張數。

2.2 確定疲勞指數范圍對應的疲勞程度

從上述分析可知，駕駛員在駕駛過程中的表情被捕獲后，可以得到相應的疲勞指數，但根據疲勞指數無法直接判定當前駕駛員的疲勞狀況，因此本文試驗繼續對駕駛員進行片段駕駛模擬測試，該片段來源于駕駛員在駕駛過程中的隨機取樣。再利用調查問卷對駕駛員當前駕駛時段進行疲勞判斷，得出所處的疲勞狀態階段。通過對該片段疲勞指數與疲勞狀態進行相關性分析，得出較精確的指數對應的疲勞狀態。排除個別明顯不符合分布的干擾項，所得的大致疲勞指數分布范圍見表4。

表4 疲勞指數對應表

從表4 可以看出，疲勞狀態的分布呈規律排列，因此，可以明顯推測出疲勞指數與疲勞狀態具有統計學意義。

本文試驗通過對駕駛員進行視頻圖像采集、人臉圖像預處理、圖像表情特征提取、圖像表情分類和疲勞狀態判斷等處理，將處于相應表情時間最長的表情標簽進行輸出，并通過相應表情的占比數據分析疲勞等級，最終得出當前駕駛員所處疲勞狀態的結果。

3 結論

為了減少疲勞駕駛引起的交通事故，針對疲勞駕駛的研究越來越多，但多數研究針對的是疲勞表情的判定率，忽略了駕駛過程中各種狀況對駕駛者的影響，例如駕駛者的情緒問題。駕駛員可能產生的情緒問題會通過表情來反饋，本文對反饋數據進行了分析，并結合對駕駛員疲勞狀態的調研，建立了疲勞判斷策略模型。結論如下。1）對駕駛員表情進行特征提取，不會影響駕駛員操作，降低駕駛員駕駛過程中的不適感。2）傳統的疲勞檢測在駕駛時間判斷和駕駛員行為檢測方面具有明顯不足。其一，進行駕駛時間判斷時，無法確定駕駛員前一晚的狀況，導致疲勞結果判斷不準確。其二，基于駕駛員行為的檢測存在明顯的滯后性。當駕駛員在駕駛過程中產生疲勞時，往往已經處于非常危險的情況中。與基于Gabor 多尺度融合特征建立疲勞判斷的策略相比，本文方法更靈活，可以實時反饋駕駛員當前狀態，并提前做出相應警告。