老年人健康智能監測提醒算法的設計與實現

馮躍飛，李 湘，付元媛，余孟儒，劉 洋，黃 東*

（1.空軍軍醫大學軍事生物醫學工程學系軍事醫學信息技術教研室，西安 710032；2.空軍軍醫大學基礎醫學院四大隊，西安 710032）

0 引言

人口問題是我國現階段發展面臨的重大問題之一，目前我國已經成為世界上老齡人口數量最多、獨居和空巢老人數量最多的國家。有研究預測我國老年人口將持續增長至21 世紀50 年代后期，而老齡化程度不斷加深的趨勢將貫穿于整個21 世紀，老年人口數量將快速增長，到21 世紀后半葉才轉而緩慢下降[1]。嚴峻的老齡化人口趨勢意味著我國也將面臨著日益增加的養老服務需求，基于我國人口和養老服務體系現狀，我國提出以居家養老為基礎，提升社區養老服務能力和發展“互聯網+照護服務”的倡導[2]。多地積極響應推進互聯網+與養老服務的結合，出現了一些以“互聯網+照護服務”為思路的智慧養老服務，如劉海亮等[3]設計的智慧居家養老系統可以向監護人提供老年人實時的心率及血壓數據，并可以查看老年人的居家生活情況；張震等[4]設計的居家智慧養老監測系統可以進行環境監測和老年人摔倒監測。然而我國的智慧養老服務仍然處于探索發展階段[5]，大部分智慧養老服務是以智能傳感器和物聯網技術為核心，少有深度學習、云計算等先進技術在智慧養老中的應用。

對老年人而言，疼痛反應是他們健康的直接體現。通常而言，老年人出現疼痛的信號表明自身的健康出現了某種問題。從生理學而言，疼痛是機體對損傷組織或潛在的損傷產生的一種不愉快的反應，是一種復雜的生理心理活動。機體能夠通過多種渠道傳遞疼痛信息，比如個體既能通過軀體的活動或運動表達自己的不適，也能通過言語或面部表情的改變展現自己的痛苦[6]。老年人因為身體機能衰弱，會經常出現疼痛反應，對這種反應的捕捉顯得尤為重要。近年來，隨著機器學習技術和計算機視覺的不斷發展，基于靜態圖像或動態視頻進行人臉表情識別的技術越發成熟。疼痛表情作為疼痛判別的可靠指標之一，能夠較為精準和可靠地傳遞身體疼痛信息和不適狀況。因此把疼痛表情看作一種特殊的復雜的面部表情，利用人的面部信息進行疼痛識別具有可行性[7-10]。目前國內外有一些研究者相繼開發了疼痛表情識別算法并設計了相應的應用場景，但在養老服務領域研究較少，主要集中在醫療領域的新生兒監護、重癥監護患者的疼痛識別方面[11]。因此，基于家用攝像頭實時視頻設計一種老年人居家活動面部疼痛表情智能監測算法能在一定程度上滿足老年人居家養老過程中健康照護的現實需要。

本研究設計一種老年人健康智能監測提醒算法，能夠實時進行人臉檢測和疼痛表情識別并及時反饋給子女或社區照護人員，以提醒相關人員及時關注老年人健康狀況，避免影響健康的不利因素進一步惡化。本研究可適用性強，既能夠在各類家用監控視頻終端上應用，也可以基于互聯網搭載在云端；而且是基于靜態圖像或動態視頻分析，無需穿戴傳感器，對監護對象無額外負擔，監護對象可接納程度高。

1 算法設計

1.1 老年人健康智能監測提醒算法框架

對老年人的健康進行實時監測需要對視頻中的老年人的疼痛狀態進行獲取，而后對檢測到疼痛的情況進行提醒。如圖1 所示，本文所設計的老年人健康智能監測提醒算法共包含人臉檢測、疼痛識別以及健康提醒3 個部分。

圖1 老年人健康智能監測提醒算法框架

1.2 人臉檢測部分

由于人臉的表情是疼痛狀態最為直接的體現，本研究首先設計了人臉檢測部分對視頻中的人臉進行檢測，以便獲取僅包含表情的信息。人臉檢測部分算法利用多任務級聯卷積網絡（multi-task cascaded convolutional networks，MTCNN）[12]實現，該網絡是一種基于深度學習的人臉檢測算法，可以同時完成人臉檢測和人臉對齊的任務，相比于傳統的算法，性能更好、檢測速度更快，被廣泛應用于自然場景的人臉檢測中。

MTCNN 包括建議網絡、細化網絡和輸出網絡3層。其中建議網絡（如圖2 所示）由一系列的卷積層構成，先將圖像進行3 層特征提取，隨后通過一個人臉分類器判別輸入圖像是否包含人臉，同時使用邊框回歸以及一個面部關鍵點的定位來對人臉區域進行建議，最終建議網絡輸出多個包含人臉的圖像，并將所有的輸出圖像發送給下一級的細化網絡進行進一步處理分析。

圖2 人臉檢測部分算法中的建議網絡

細化網絡（如圖3 所示）包含多層卷積層，與建議網絡的區別在于增加了一個全連接層，用于對輸入特征的篩選。由于建議網絡給出的往往是一系列的粗糙的結果，這些結果均會被送入到細化網絡中進行篩選，對一些效果不好的人臉進行剔除，最后留下效果較好的候選框用于區域框的回歸和人臉關鍵點的定位。

圖3 人臉檢測部分算法中的細化網絡

輸出網絡（如圖4 所示）也是由一系列的卷積層和全連接層構成，相較于細化網絡增加了1 層卷積層，以增加更多的監督來識別面部區域。同時全連接層提高了輸出維度，保留了圖像更多的特征，在細化網絡的基礎上再次進行人臉的判別、人臉區域候選框的回歸以及人臉關鍵點的定位。

MTCNN 將人臉檢測的任務拆分成多個模型組合的方式，先使用小模型生成一切有可能的候選框，隨后一步步使用更復雜、更精細化的模型對粗略的結果進行篩選，從而形成3 層網絡的檢測模型，實現人臉的精準檢測，使得后續的算法僅對人臉表情進行分析，排除了其他大量的背景干擾信息。

1.3 疼痛識別部分

疼痛識別部分是本算法的核心內容。

首先，本研究構建VGG16 的網絡模型，一共包括5 個卷積塊（每個卷積塊由一定數量的卷積層、批歸一化層、非線性層和池化層組成）和2 個全連接層來提取全局特征。其中第一個卷積塊的結構參數見表1。第二個卷積塊將特征的輸出維度提升至128，其余結構和第一個卷積塊相同。第三、四、五個卷積塊在第二個卷積塊的基礎上增加了一個卷積層、一個批歸一化層和一個非線性層，并分別將特征維度提升至256、512、512。2 個全連接層分別將特征維度由512 升至4 096，并連接輸出層輸出分類結果。在構建網絡之后再使用預訓練的VGGface 模型[13]參數對模型進行初始化。

表1 第1 個卷積塊的結構參數

隨后，本研究使用來自于UNBC-McMaster 的肩部疼痛數據庫[14]進行模型的微調，該數據庫共收錄了25 個被試的200 個視頻序列，共48 398 幀圖像，而且每一幀圖像均有疼痛的標記，這為該部分算法的深度模型訓練提供了充足的數據。假設訓練集D={xi，yi}（i=1，2，…，N，xi、yi分別表示人臉圖像和疼痛標簽）包含了N張圖像，在使用VGGface 模型初始化之后，再使用Softmax 分類損失函數進行微調的訓練，如下式所示：

式中，m表示一個批次的圖像數量；N表示分類數量；al表示全局分支在第l個類別的輸出；yi表示樣本的標簽。由于該網絡以及損失函數均是可導的，損失誤差可以反向傳播到前面所有層中來更新這些層中的參數。參數更新方法為隨機梯度下降法，其中動量為0.9，衰減系數為0.000 5。

1.4 健康提醒部分

在健康提醒部分算法中，本研究根據疼痛識別部分所輸出的結果，選擇是否向老年人的子女或者社區養老機構護工進行健康提醒。當疼痛識別部分檢測到老年人有疼痛表情時，健康提醒部分采用開源的wechatpy 項目調用PC 端微信，發送疼痛報警信息給相應的人員。

2 實驗

2.1 實驗數據及條件

本文疼痛識別部分算法使用的訓練數據來自于UNBC-McMaster 肩部疼痛公共數據庫，共選取10 000張圖像子集（包含了均衡的疼痛和非疼痛類別）。

在深度網絡構建時，所依賴的軟件環境是基于Python 3.8 的Pytorch 1.9.1 框架搭建的，硬件環境主要由Intel（R）Core（TM）i9-10900K CPU 和NVIDIA RTX3060 顯卡構成。

2.2 人臉檢測結果

本研究利用基于MTCNN 所構建的人臉檢測算法對原始圖像進行人臉檢測，識別出人臉區域。人臉檢測的結果如圖5 所示。

圖5 人臉檢測的結果

在獲得人臉的檢測框之后，可以利用檢測框的坐標對人臉部分進行裁剪，將視頻中的背景進行剔除，只留下人臉的部分。與此同時，需對人臉區域進行尺度放縮，以滿足后續疼痛識別部分對輸入圖像尺寸的要求，從而進行后續的疼痛識別。

2.3 疼痛識別及健康提醒結果

在訓練過程中使用留一交叉驗證來評估算法的性能，即將數據庫中的25 個被試均作為一次測試樣本，其余24 個被試的數據作為訓練集，一共做25 次循環，獲得最終的平均值來進行疼痛識別部分最終的性能評估。本文所設計的疼痛識別算法的平均識別率為94.1%，得到的疼痛識別ROC 曲線如圖6 所示，其中AUC 值為0.969?？梢钥闯?，本文所設計的疼痛識別算法能夠識別絕大部分疼痛的情況，算法性能可靠。

圖6 疼痛識別的ROC 曲線

以上的結果為數據庫中的實驗結果，數據庫中的各個被試視頻采集條件基本一致。為了驗證疼痛識別算法是否能夠應對更多的實際場景，使用自行錄制的腹瀉引起的腹部疼痛的視頻，并將視頻轉化為連續的圖像幀輸入到人臉檢測算法中先進行人臉的檢測，隨后將人臉區域輸入到疼痛識別算法中進行疼痛檢測。實際檢測的結果如圖7 所示。

圖7 實際環境中的疼痛檢測結果

從圖7 中的結果能夠看出，疼痛識別算法具有較強的泛化性，在實際環境中的人臉出現疼痛時也能夠及時產生報警信號，并將報警信號傳遞到健康提醒算法中進行消息推送。圖8 為檢測到疼痛時該算法調用微信發送的健康提醒消息。

圖8 實際環境中的微信提醒信息

3 結語

我國是世界上老齡化速度最快、空巢老人數量最多的國家之一，并且大部分老齡人口以居家養老為主。為此，本研究以“互聯網+照護服務”為思路設計一種基于家庭攝像頭的老年人健康智能監測提醒算法，能夠實現基于家庭攝像頭的實時視頻序列進行人臉檢測和疼痛識別，從而及時發現老年人居家養老過程中的不適，并實時提醒相關人員采取相應干預措施。本算法在保證網絡可靠性和家庭攝像頭較高覆蓋范圍的前提下能夠為“互聯網+照護服務”提供一個可行的技術實現和創新的思路，對健全家庭和社區兩級的老年人照護服務體系有著重要意義。然而出于隱私保護家庭住房中部分洗手間、臥室等區域不具備配置攝像頭的可能，而且家庭住房環境也存在著大量攝像頭的盲區，很難實現對老年人的實時疼痛監測；此外，算法采用深度學習模型來識別疼痛表情，沒有與其他表情有明確的區分特征，同時跌倒也是老年人居家過程中的健康危險因素之一。因此，本研究下一步將設計算法學習疼痛表情與其他表情的區分特征，同時加入姿態檢測算法，并與其他“互聯網+照護服務”融合，進一步完善老年人居家養老過程中的健康監測體系。