基于概率描述邏輯的多層活動建模和識別

彭一鳴，王忠華

(南昌航空大學，南昌330063)

1 引言

活動識別被廣泛應用于眾多領域，這些領域包括醫療健康，老人摔倒和異常檢測、健康生活方式的跟蹤和改善、智能家居的上下文感知服務、機器人技術和安防和監控等?；顒幼R別方法主要可以分為三種，即數據驅動、知識驅動和混合活動識別方法?；诒倔w的方法在活動識別領域中的應用越來越普遍，然而大多數基于描述邏輯的活動識別框架缺乏對概率知識的表示和推理。

為了彌補上述方法的不足，本文提出的方法將不確定性知識集成到一個統一的框架中，并考慮活動之間的不相容性，利用對數線性模型和描述邏輯的結合來推測出當前最可能執行的活動。

2 多層活動模型的表示

2.1 概率描述邏輯原理

描述邏輯[1]（Description logic，DL）是一種知識表示形式，通過概念、關系和公理來支持特定應用領域知識的邏輯表示，包括領域內概念的定義和對象個體的描述。

對數線性描述邏輯[2]（log-liner description logic）將描述邏輯集成到對數線性模型中，允許對描述邏輯加權公理的概率性和確定性依賴關系進行建模，并支持OWL2網絡本體語言[3]。形式上，一個對數線性知識庫C=(CD,CU)是由一個確定性知識庫CBoxCD和一個不確定性知識庫｝組成，其中c表示一個公理，ωc是分配到公理c的一個權重。

在規定的語法和語義下，最主要的推理任務是最大后驗概率(MAP)查詢，給定一個對數線性本體，推理出在同樣的概念和角色下最可能的一致的本體，在概率描述邏輯背景下，MAP查詢是至關重要的，因為它能夠從概率本體中推理出一個最可能的本體。ELOG推理機[4]通過將概率本體轉化為整數線性規劃（integer linear program，ILP），從而進行MAP查詢。它迭代查詢一個推理機（例如Pellet）獲得不連貫或不一致的解釋，并將這些約束添加到整數線性規劃中。

2.2 多層活動的概念

復雜活動、簡單活動、操作手勢、原子事件和其他上下文概念被定義為活動本體的概念，下面是一系列本體活動模型主要概念的定義。

Person：表示一個執行不同活動的居住者。

Arm：表示居住者的手臂，手臂分為左手臂和右手臂，一個人通過他的手臂與周圍環境進行交互。

Function：表示一個人的手臂操作物體的方式。

Locomotion：表示肢體動作，例如躺、坐、站立。

Object：表示居住者在執行一個活動中交互的物體，例如原子事件“移動瓶子”，交互的物體是“瓶子”。

Event Type：表示原子事件，表示這些不能被分解為更簡單成分的原子活動，它們的持續時間非常短，為了簡化模型，可以把它們看作為瞬時事件。

Manipulative：表示操作手勢，由幾個簡單的原子事件組成。在某些情況下可以并發進行。

Simple Activity：表示簡單活動，由操作手勢和肢體動作組成的時間序列構成，同樣的簡單活動可能由不同的操作手勢時間序列構成。

Complex Activity：表示復雜活動，由執行的簡單活動組成。

2.3 多層活動模型的建立

多層活動本體模型是依據一個開源項目“Opportunity”提出的框架建立的。本體模型一共包含四層結構，從底層到高層依次是原子事件層、操作手勢層、簡單活動層和復雜活動層。

本體模型的核心類是Person，一個居住者通過他的手臂與周圍環境進行交互，基于本體的類和屬性，表示活動概念的公理能夠迭代地通過更簡單的活動進行定義，這些類和對象屬性如圖1所示，圖中的節點表示類，箭頭表示關聯類個體的對象屬性。一個原子事件的公理可表示為類Person通過屬性hasArm關聯到他的手臂類Arm，進而通過屬性hasFunction和hasObject關聯到手臂操作物體的方式類Function和交互的物體類 Object。

3 多層活動識別系統的設計

多層活動識別系統主要由兩部分組成，首先使用OWL2本體語言構建多層活動本體，然后利用基于Java語言編寫的活動識別框架來解析本體。

3.1 多層活動本體

圖1 活動本體關系圖

本文提出的概率本體支持數據集[5]的活動識別場景，包括四個活動層級約150個日常生活動作和活動。只考慮個體S10生成的數據集構建我們的概率本體，其他兩個人的數據用于評估我們的方法對活動識別的有效性。我們采用protégé OWL編輯器[6]構建活動本體，公理權重已經以注釋的形式手動添加到公理定義中，權重的估計值通過領域常識和S10個體產生的數據獲得。

3.2 多層活動的識別方法

我們提出用以下技術從更簡單的活動中識別出更復雜活動，該方法不局限于順序活動的識別，也包括并發活動的識別。下面描述了操作手勢、簡單活動和復雜活動的識別步驟。

3.2.1 識別操作手勢

第三層的操作手勢是基于原子事件和活動的語義推斷得出的，為了識別在一個時間窗口τ3內執行的操作手勢，我們執行下面四個步驟：

①收集所有在τ3時段內識別出的原子事件；

②使用本體論中的類和聲明來表示它們，并將它們添加到概率本體中；

③使用對象屬性將每一個原子事件和它的執行者關聯起來；

④利用概率和標準的本體推理機推斷出最有可能執行的操縱手勢。

3.2.2 識別簡單活動

因為簡單的活動被定義為由若干操作手勢組成的時間序列，需要表示操作手勢的執行先后關系。然而基于OWL2的描述邏輯本身并不支持時序推理，為了解決這個限制，根據操作手勢的時間序列進行簡單的時序推理。為了識別所有在τ2時段內執行的簡單動作，我們按照如下步驟：

①收集所有在τ2時段內推測出的操作手勢；

②利用本體的類和聲明表示各種操作手勢，并添加到概率本體中；

③利用對象屬性關聯每一個操作手勢和它的執行者；④更新收集到的操作手勢的執行順序，使用上述描述的公理形式，并添加到概率本體列表；

⑤使用關于對數線性的ELOG推理機[4]從概率公理中計算最可能的一致性本體；

⑥在最可能的一致性本體上執行標準的本體推理，得到在τ2時段內的簡單活動。

3.2.3 識別復雜活動

從簡單活動中識別出復雜活動的方法類似于操作手勢的識別，由于時間窗口τ1持續的時間較長，在時間窗口τ1內可以執行幾個簡單活動，這有助于區分各復雜活動和省略活動內部的時序關系。

3.3 多層活動識別框架

本文提出的方法是基于Java編寫的系統OWL-API上實現的，如圖4中所描述的一樣，程序在一個滑動時間窗口中自動解析傳感器的觀測值，通過識別框架將更低層級活動作為輸入，迭代地輸出更高層級的活動。該程序收集的傳感器觀測數據包括執行者的肢體動作、手臂動作和交互物體。當運行時間超過了操作手勢對應的預定義時間窗口τ3時觸發推理過程。為了便于評估，依照傳感器輸入頻率的平均值，我們固定τ3分割的時間為1秒。

圖4 識別框架整體結構

每個被識別出的原子事件都作為本體中對應類的一個個體，用于未知的操縱手勢類的描述。新的公理被添加到對數線性本體后，通過ELOG推理機輸出最可能一致的本體。ELOG推理機通過將概率本體轉化為一個整數線性規劃來解決MAP查詢，它迭代查詢Pellet推理機來獲得關于不連貫或不一致的解釋，并將其作為ILP的約束，可以使用Gurobi解算機解決它們和重復這些操作，直到所有的不一致都得到解決。獲得的一致性本體再次作為輸入，通過Pellet推理機可以推斷出未知類的等價類。這些類表示在給定的時間窗口中預測的操作手勢。在下一個傳感器輸入時，采集的數據被刪除和收集推理過程又被再次觸發。類似地，為了識別下一個抽象層的活動，之前的預測類用于定義當前簡單活動的未知類，保存當前收集的操作手勢直到一個簡單活動被識別。從一個時間窗口到下一個時間窗口，它們的順序也進行相應地更新。構成一個簡單活動的最長序列包括4個操縱手勢，我們固定τ2的間隔長度為4個τ3時間間隔，因此一個操縱手勢在它被識別前的最大序號為4，利用Pellet的解釋特性來獲取識別簡單活動的公理，并獲得它的持續時間。最后，在τ1中預測的簡單活動被用于產生未知的復雜活動類，復雜活動覆蓋較長時間，考慮到識別框架的實時性，我們限制τ3為30秒。識別過程遵循與識別操作手勢相同的步驟。

4 實驗與評估

4.1 實驗數據集

我們使用從高度豐富的網絡傳感器環境中收集到的真實數據來評估我們的方法，數據集是一個歐盟研究項目“基于傳感器配置的活動和情景識別”的一部分。數據集通過觀察幾個住戶早晨的日?；顒荧@得，為了能夠評估我們的方法，我們對三個目標個體S10、S11和S12在三個不同早晨執行的日?；顒覣DL1、ADL2和ADL3的不確定性進行注釋。

為了評估我們的方法，首先使用時間窗技術，獲得每個時間窗口內的真實活動集，然后把它與對應時間窗口內預測的活動集進行比較。評估方法采用三個模式識別中常用的評價指標：精確度（precision）、反饋率（recall）和F測量（FMeasure），三者按如下公式計算：

對于每個輸出，正確預測的活動被視為是正確肯定（true positive，TP）；如果時間窗口 τ1中預測的活動 A1，不匹配真實數據集在同一時間窗口內的任何活動，則被視為錯誤肯定（false positive，FP）；任意一時間窗口內，參考數據集的活動沒有在時間窗口內被預測出，則被視為錯誤否定（false negative，FN）。

4.2 實驗結果和分析

表1描述了住戶S10、S11和S12三個早上的日?；顒訑祿?ADL1、ADL2和ADL3)在每個層級活動上的平均識別結果。由于各個住戶之間的變化相對較小，本文方法表現出很好的性能水平。

表1 各層活動平均識別結果

一般來說，單獨從各個層級活動識別結果來看，系統具有較高的精度。雖然對于操作手勢和復雜活動而言，反饋率的值是比較滿意的，但簡單活動的反饋率較低，遺漏了相當數量的簡單活動，這主要有以下幾個原因，一方面操控手勢層的預測錯誤或遺漏很可能違反整個簡單活動的執行順序，從而導致錯誤預測。另一方面，我們的本體模型時序表示過于簡單，不能捕獲定義一個簡單活動的所有操縱手勢序列。盡管簡單活動的反饋率較低，復雜活動有相對較高的F-測量值，這主要有兩方面原因，一方面復雜活動類的數量相比與其他層級數量較少，另一方面由于復雜活動的識別頻率相對較低，在一個時間窗口τ1能夠識別到足夠多的簡單活動，從而能在很大概率上正確地推理出復雜活動。

5 結語

本文提出了一種緊密耦合的混合系統來進行人類活動的識別，提出的識別框架將符號邏輯和概率推理相結合，采用對數線性描述邏輯來表示和推理當前活動，實驗結果驗證了本文方法處理多層活動識別的可行性。本文不同于大多數相關工作，它在不犧牲本體建模和推理的優勢下，支持人類活動固有的不確定性，這些優勢包括一致性檢測和集成豐富背景知識的能力，能同步識別復雜和簡單活動。標準描述形式的使用增強了系統的移植性和重用性，支持表示異構和不確定的上下文數據，能夠有效處理數據的不確定性。