基于時空數據融合技術的人員軌跡預測系統設計

李洪杰 董經緯

DOI：10.19850/j.cnki.2096-4706.2024.02.007

收稿日期：2022-12-06

基金項目：2021年度江蘇省重點研發計劃（BE2021729）

摘? 要：由于人類活動的隨機性和主觀性，當前預測一個人的未來軌跡仍然是一個具有挑戰性的問題。文章針對目標多源歷史軌跡數據存儲、融合預測等問題，設計一種基于時空數據融合技術的人員軌跡預測系統。結合需求分析提出了系統的基本框架，構建了底層數據庫；基于猶豫模糊集實現了多源軌跡數據的融合；基于多尺度軌跡空間LSTM集成預測模型實現了目標軌跡的預測。

關鍵詞：軌跡預測；猶豫模糊集；LSTM

中圖分類號：TP311? ? ? ? 文獻標識碼：A? ? ? 文章編號：2096-4706（2024）02-0027-05

Design of Personnel Trajectory Prediction System Based on Spatio-temporal Data Fusion Technology

LI Hongjie， DONG Jingwei

（Army Engineering University of PLA， Nanjing? 210007， China）

Abstract： Due to the randomness and subjectivity of human movement， predicting a person's future trajectory remains a challenging problem. This paper designs a personnel trajectory prediction system based on spatio-temporal data fusion technology to address the storage， fusion， and prediction of target multi-source historical trajectory data. Based on requirement analysis， the basic framework of the system is proposed and the underlying database is constructed; the fusion of multi-source trajectory data is achieved based on hesitant fuzzy sets; the prediction of target trajectory is achieved based on a multi-scale trajectory space LSTM integrated prediction model.

Keywords： trajectory prediction; hesitant fuzzy set; LSTM

0? 引? 言

在疫情防控、刑事案件偵查、反恐維穩等領域，對人員活動軌跡的預測需求越來越多，如何基于現有目標的歷史時空軌跡數據，分析推斷該目標的下一步行動計劃，對于開展相關工作具有十分重要的意義。當前，在相關研究中主要存在以下兩方面的問題：一是對于多源軌跡數據缺乏一種高效的存儲與信息融合手段；二是對目標未來軌跡的預測效率不高。鑒于此，本文設計一種基于時空數據融合技術的人員軌跡預測系統。

1? 人員軌跡預測系統的基本框架

1.1? 人員軌跡預測系統的靜態結構

基于時空數據融合技術的人員軌跡預測系統的靜態結構如圖1所示，該系統分為三個模塊：目標軌跡數據庫、軌跡數據融合子系統、軌跡預測子系統，各個模塊之間是相互關聯的，后面一個模塊的運行有賴于前一個模塊提供相應的數據。

1）目標軌跡數據庫。主要用來分類存儲和查詢各目標的軌跡信息。

2）軌跡數據融合子系統。獲取目標猶豫模糊數據集，以時序雙向模糊決策為理論依據實現模糊軌跡建模和軌跡數據融合。

3）軌跡預測子系統。通過融合不同的軌跡形成多層次軌跡空間，構成LSTM集成預測模型，實現對目標軌跡的預測。

1.2? 系統的動態運作流程

各子系統之間相互協作，實現了對目標軌跡數據的收集、存儲、管理、融合、預測等全過程操作。

目標的歷史軌跡信息可以通過監控錄像、手機定位、消費記錄檢索等多種方式獲得，在對這些數據進行初步的處理后形成統一的數據格式，并根據數據類型和來源進行分類存儲。軌跡數據融合子系統從數據庫中查詢得到當前目標的軌跡點數據集，結合猶豫模糊集理論，得到基于時間序列的目標模糊軌跡，再通過時序雙向模糊決策得到可信度不同的目標模糊軌跡數據集，最后由軌跡預測子系統以目標模糊軌跡數據集為基礎，形成多尺度模糊軌跡空間，構建LSTM的軌跡訓練模型，通過預測算法實現目標軌跡預測。

本系統的工作流程圖如圖2所示。

2? 多源時空軌跡數據庫的構建

進行軌跡預測往往需要根據海量的歷史數據信息，通過構建專門的時空軌跡數據庫來提高數據查詢、添加和刪除等操作的效率，實現對大量人員軌跡信息的存儲和利用，提高系統的工作效率[1]。

2.1? 多源軌跡數據的存儲格式設計

按照一定的格式對不同來源的數據進行收集、存儲和運用，前提是設計出能夠存儲多源數據的統一格式，以此為基礎構建數據庫的基本框架，明確軌跡數據存儲字段所需的位數大小、基本范圍、數據類型以及是否可以為空值等[2]。

2.2? 時空軌跡數據庫模型

本數據庫的概念模型以目標和軌跡點為實體，其中目標包含的屬性有姓名、身份證號、多特征屬性信息等，身份證號為主鍵；軌跡點包含的屬性有時間、經緯度坐標、目標姓名、目標身份證號，目標身份證號為主鍵。目標與軌跡點的關系是目標經過軌跡點，且為一對多的關系，如圖3所示。

2.3? 時空軌跡數據庫功能

以MySQL數據庫為核心，以Navicat Premium軟件為平臺，根據設計的數據類型新建表結構并導入數據，而后添加索引查詢的要求，實現以下功能。

2.3.1? 綜合集成不同來源的信息

目標軌跡數據的來源渠道比較多，因此所收集軌跡信息的類型也是多種多樣的，但所有的軌跡信息必須以統一的格式存儲在數據庫中，并按照類別進行劃分。

2.3.2? 信息檢索查詢

數據庫中存有大量目標的數據信息，但通常我們只需對單個或多個目標進行分析，因此查詢檢索功能尤為重要。本數據庫可以根據不同的實體屬性進行查詢，也可以通過具體的數據值進行查詢，能夠滿足不同用戶群體的需求。

2.3.3? 信息輸出

可實現將數據庫中的數據以Excel文件、文本文件、HTML文件、Word文件等格式導出的功能，增強了數據庫的靈活性，便于系統運維人員進行各項操作。

3? 軌跡融合子系統

目前，對于目標軌跡的分析與預測往往局限于觀察目標的某一種軌跡數據，而忽視了對多源軌跡數據的相互融合，從而很難得出較為詳細準確的結論。對于多源軌跡數據的融合面臨如下問題：一是隨著現代信息技術的發展，獲取人員軌跡信息的渠道有很多，難以實現對海量數據信息的去粗取精、去偽存真；二是設備技術條件不足以及存在其他干擾因素，限制了目標軌跡信息的精度。

以猶豫模糊理論為依據的模糊軌跡融合方法可有效解決目標多源軌跡信息融合問題。建立軌跡融合子系統，結合模糊理論定義模糊軌跡點數據集，并通過+項關聯修正，使得可信模糊軌跡點數據在計算過程中保存下來，通過偏差度計算得出最終結論[3，4]。

3.1? 猶豫模糊集分析

對單一目標進行分析，以目標A0為例，通過監控錄像、手機定位、購物信息查詢等方式可以得到目標A0在各個軌跡點的時間、位置、多角度多特征屬性等方面的信息。由于目標主觀和客觀上的隱蔽行為，最初獲取的數據并非完全是關于目標A0的信息，因而經過數據處理得到的數據是關于模糊目標的模糊數據集合，是目標A0的q個角度p個特征屬性信息，定義實際目標多屬性數據為X0 = {X0，1，X0，2，K，X0， p}，Ai（i = 1，2，…，n）為模糊目標，從而模糊目標多屬性多角度信息集為Xi（i = 0，1，2，…，n）= {{X0，1，X0，2，K，X0， p}，…，{Xn，1，Xn，2，K，Xn， p}}。

3.1.1? 猶豫模糊集矩陣

每一個攝像頭針對目標的p個屬性，從每個屬性的q個角度采集信息，獲得當前點多角度多屬性信息集Xx = {xx，1，xx，2，…，xx， p}，同時計算與模糊目標多角度多屬性信息集Xi =（i = 0，1，2，…，n）= {{X0，1，X0，2，K，X0， p}，…，{Xn，1，Xn，2，K，Xn， p}}中各目標的相似程度。xi（i = 1，2，…，p）表示目標的p個屬性，根據各屬性下q個角度的相似程度可以構造成猶豫模糊集：

其中，hA（x） = {p1，p2，…，pq}，分別為xi（i = 1，2，…，p）屬性在q個角度下與目標的相似程度。

同理可得通過攝像頭拍攝到的多個角度多個屬性信息與模糊目標Ai（i = 1，2，…，n）之間構成的模糊集，最終得到的模糊矩陣如表1所示。

表1? 多角度屬性信息模糊矩陣

x1 … xp

A0 h0，1 … h0， p

A1 h1，1 … h1， p

… … … …

An Hn，1 … hn， p

3.1.2? 得分與偏差度決策

根據猶豫模糊理論，計算猶豫模糊元素hi（i = 1，2，…，n）的得分值s（hi）（i = 1，2，…，n）以及猶豫模糊元素hi（i = 1，2，…，n）的偏差度 （i = 1，2，…，n），以便做出最后決策。

計算得到每個元素的得分值和偏差度，如果出現兩個得分相差無幾的元素，此時偏差度就會發揮作用。偏差度較大表示意見不一致，偏差度較小表示意見一致性較高，通常選擇偏差度較小的元素。

在與實際目標X0的多個特征屬性進行匹配時，會對模糊目標Xx = {xx，1，xx，2，…，xx， p}進行多次判斷，其中出現的肯定與否定比較分散的結論對決策有重要作用。

3.2? 基于時序雙向k項關聯修正的路徑模糊決策建模

3.2.1? k關聯項速度分析

首先通過下列算式計算鄰近模糊軌跡點的人員運動速度：

假設模糊軌跡點數據有n個，以長度k為一個單位，k為1時表示檢查此軌跡點與相鄰軌跡的合理性；k為n時表示檢查此軌跡與所有軌跡的合理性；k不能過大或過小，過大會導致冗余，過小則會導致準確性較差[5，6]。

根據上面的速度計算式可以獲得如表2所示的速度信息矩陣。

錯誤數據與真實數據沒有關聯性，因此速度是不穩定的，而真實軌跡點之間的速度差異并不大，通過對真實軌跡的速度范圍進行判斷可以有效識別出真實軌跡點。

3.2.2? 前向判斷

盡管得到了速度信息決策矩陣和正常速度范圍，但處于速度范圍邊界上的軌跡點很難僅依據速度來區分真假，而且即使速度在中心范圍的軌跡點也同樣無法保證其真實性。為了保證大部分的真實軌跡點都能夠保存下來，速度范圍會適當擴大，這將導致假的軌跡點被判斷為真，而對于真實的軌跡點則無法通過相鄰的點來判斷其可信性。因此需要進行k關聯項的前向判斷，依據為：k關聯項中可信點信度可達的點均為可信點。

通過k關聯項判斷出可信的軌跡點，對不可信的數據進行刪除，篩選得到初步判斷為真的軌跡點集合。

3.2.3? 后向時序檢驗修正

前向判斷的前提是當前點是可信的，而進行模糊判斷時，判斷的作用是相互的。在進行時序判斷時，若判斷結果為假，則不按時序進行判斷，而是通過k關聯項進行判斷，信度高的對信度低的進行否定。通過此方式對速度信息矩陣進行前向判斷和逆序修正得到最終的信度矩陣，如表3所示。

其中，lv表示綜合信度，n′表示判斷為真的軌跡點個數。最后計算得分和偏差度，依次挑選最佳值，得分最高或得分與最高項近似，滿足各屬性下得分大于置信閾值的要求，且偏差度較大。

采用上述模糊決策方法實現目標軌跡數據的融合，得到最終的模糊軌跡數據集。

3.3? 軌跡融合子系統的框架設計

軌跡融合子系統的工作流程如圖4所示。

假設獲取目標A的模糊軌跡信息有如下幾條：

{（t1，（x1，y1）），（t2，（x2，y2）），…}

結合猶豫模糊理論得到目標A的模糊軌跡點信息集，而后通過時序的排列得到模糊軌跡[（rt1，（rt1，rt1））， （rt2，（rt2，rt2）），…]，再根據其中的可信點對每個軌跡點進行k項關聯前向判斷和后向修正得到最終的模糊軌跡集合{[（rt1，（rt1，rt1））， （rt2，（rt2，rt2）），…]，[（rt1，（rt1，rt1））， （rt3，

（rt3，rt3）），…]， [（rt2，（rt2，rt2））， （rt5，（rt5，rt5）），…]，…}。

4? 軌跡預測子系統

隨著視頻監控、衛星定位、移動通信網絡等技術的廣泛應用，人們可以通過多種方式來獲取目標的實時位置信息，通過對各類信息的分析判斷可以進行簡單的行為預測。當前軌跡預測技術的實現，大多是對目標的歷史行為規律進行學習并構建相應的模型。但由于人的行為具有一定的隨機性，且容易受到當時所處環境的影響，僅僅依靠歷史經驗來預測目標的未來軌跡是不全面的，也是不準確的。

本子系統以一種多尺度軌跡空間LSTM集成預測模型為核心，通過融合不同相似程度的模糊軌跡來構建不同模糊尺度下的軌跡空間。通過對軌跡的模糊融合，弱化軌跡中間過程的細節，生成目的一致、意圖一致的多尺度模糊軌跡，此方法能夠使軌跡信息更具有連續性。最后通過訓練不同尺度空間的LSTM模型，將模型輸出集成，形成最后的預測位置。

4.1? 預測模型

以DTW距離為方法，計算各軌跡的相似度并進行排序，將當前軌跡和相似軌跡進行融合，再將融合后的軌跡與另一條軌跡融合，構建多層次模糊軌跡空間，在此基礎之上構建LSTM集成學習模塊。

4.2? 多尺度軌跡模糊空間

以A = {a1，a2，an}、B = {b1，b2，bm}兩條軌跡為例，兩條軌跡長度分別為n和m，首先通過采樣點間的歐氏距離創建距離矩陣Dn*m，其中Di， j表示軌跡A中第i個點Ai與軌跡B中第j個點Bj之間的歐氏距離：

DTW采用動態規劃得到最佳的軌跡矩陣Ci， j。定義如下：

其中，Ci， j表示主軌跡相對于相似軌跡的重要程度。以相似的軌跡作為模糊數據，構建多層次軌跡空間[7，8]。

4.3? 基于LSTM的坐標估計

經過不同的軌跡融合變換得到目標軌跡數據集，以及不同層次空間下的數據集TD = {T1，T2，T3，…，Tt，…，Tn-1，Tn}，表示為TD1，TD2，…，TDm，代表著各層次下人員行為的具體表現和屬性特征。其中一條軌跡表示為T = {tr1，tr2，…，trp-1，trp}，而每一個軌跡點由經緯度和時間組成，表示為trt（xt，yt）。輸入為每條軌跡的前n-2個序列坐標，輸出為第n個時刻的坐標[9，10]。

基于LSTM的預測模型如圖5所示，其相關計算式如下：

遺忘函數：

輸入函數：

候選信息：

新狀態：

輸出門：

隱層狀態：

多層次軌跡LSTM預測方法對相同時間各個軌跡點模糊信息分別進行算法計算，并選擇最終位置進行訓練。通過此方式可使不同軌跡模糊數據的LSTM算法模型比較穩定，計算結果更加準確，并得到所有軌跡數據的訓練模型，最后通過權值比重進行計算。

4.4? 子系統功能實現

通過軌跡融合子系統獲得目標模糊軌跡集，構建多軌跡LSTM算法訓練模型，結合最優權值預測最終軌跡，其過程如圖6所示。

5? 結? 論

本文設計一種基于時空數據融合技術的人員軌跡預測系統，提出了該系統基本框架、數據庫的構建方法，同時基于猶豫模糊集設計了多源軌跡數據融合子系統，基于多尺度軌跡空間LSTM集成預測模型設計了目標軌跡的預測子系統。在后續的研究中，將致力于提高各子系統之間的協同作業能力，提升系統的自動化水平。

參考文獻：

[1] 李俊山，葉霞.數據庫原理與應用（SQL Server）：第4版 [M].北京：清華大學出版社，2020.

[2] 羅俊海，王章靜.多源數據融合和傳感器管理 [M].北京：清華大學出版社，2015.

[3] ZHU B，XU Z H. Some results for dual hesitant fuzzy sets [J].Journal of Intelligent & Fuzzy Systems，2014，26（4）：1657-1668.

[4] XU Z S，XIA M M. Distance and similarity measures for hesitant fuzzy sets [J].Information Sciences，2011（11）：181.

[5] XIA M M，XU Z S. Hesitant fuzzy information aggregation in decision making [J].International Journal of Approximate Reasoning，2010，52（3）：395-407.

[6] PARK J H，PARK Y K，SON M J. Hesitant Probabilistic Fuzzy Information Aggregation Using Einstein Operations [J].Information，2018，9（9）：226.

[7] 陳洪波，王璨，徐斌，等.基于LSTM網絡的短期負荷預測 [J].電工技術，2019（9）：27-29.

[8] 張彥彬，蘇楊，許亞春，等.基于LSTM神經網絡模型對大宗礦產資源放行風險預測研究 [J].中國口岸科學技術，2020（6）：10-22.

[9] 李莉，杜麗霞，張子柯.基于多變量LSTM神經網絡的澳大利亞大火預測研究 [J].電子科技大學學報，2021，50（2）：311-316.

[10] 明震，朱希安.基于LSTM網絡的凝結水泵故障預警 [J].北京信息科技大學學報：自然科學版，2021，36（6）：53-57.

作者簡介：李洪杰（1999.05—），女，漢族，河南新鄉人，本科在讀，研究方向：指揮信息系統工程。