基于動態索引技術的視頻數據治理體系理論及應用研究

洪小龍 張 成 張進飛 黃永燁

（1.廣東省公安廳， 廣東 廣州 510050；2.佳都科技集團股份有限公司，廣東 廣州 510230；3.廣州市公安局科技通信處，廣東 廣州 515000）

視圖大數據具備數據量大、價值密度低、速度快且時效高的特點，存在人工翻查效率低，視頻圖像數據利用率不高的問題。本文通過研究動態索引技術在視頻檢索上的應用，并與大數據相融合的技術，形成以動態索引服務為目標的視頻應用技術，提高對視頻圖像應用的效率。

1 視頻圖像數據治理面臨的現狀與問題

視圖數據在獲取、存儲、管理和分析方面與傳統大數據存在很大區別，視圖數據的應用存在數據治理不深、支撐力度有限、價值挖掘不夠等短板問題。

1.1 數據治理不深

視圖大數據在結構上分為結構化、半結構化、非結構化，且價值密度較低，必須經過結構化和數據治理后才能形成可以被應用的有效數據，但目前缺少有效手段對海量的視圖數據進行價值提純，制約視頻圖像數據的應用成效。

1.2 支撐力度有限

視圖大數據最大的價值在于通過從海量視頻圖像數據中，實時、高效地挖掘出對未來趨勢與模式預測分析有價值的數據。但是現有的計算方式難以高效地“提純”視圖大數據的價值，無法滿足統計、分析、預測和實時處理的需求。因此，現有的視圖大數據對業務應用的支撐力度有限。

1.3 價值挖掘不夠

視圖大數據主要應用方向為輔助決策、數據驅動服務和實時決策反饋。雖然已經出現了一些基于視頻圖像數據開展智能化應用技術，但是過于零散化、碎片化，未能與傳統大數據進行融合，進而挖掘視圖大數據的價值，形成更全面的信息集合。

2 “視頻+大數據”的視頻數據治理體系思路

本文通過探索動態索引技術在視頻圖像數據檢索上的應用，形成“視頻+大數據”的視頻數據治理和應用體系。具體思路如下：

2.1 數據融合，構建“視頻+大數據”的數據治理格局

采用動態索引技術，在特征值之上構建索引層，實現具備相似特征屬性的視頻圖像精準歸檔；融合關注特征屬性，選用具備典型特征屬性的視頻圖像作為檔案封面屬性，形成典型特征屬性庫；以典型特征屬性庫檔案封面屬性與圖像檔案數據進行關聯，形成視頻圖像動態索引，從而搭建視頻圖像數據與傳統大數據的橋梁，構建“視頻+大數據”的數據治理格局。

2.2 逐級關聯，完善動態索引數據治理體系

采用依托本地典型特征屬性數據構建動態索引服務的治理模式，由本地先對視頻圖像數據按相似特征進行整理，形成非典型特征圖像檔案庫；再通過非典型特征圖像檔案庫與本地典型特征屬性庫中的封面屬性進行比對分析，以比中結果形成視頻圖像典型特征關聯檔案；不能通過本地動態索引服務形成圖像檔案的，通過調用更高級別的動態索引服務實現典型特征關聯，從而完善動態索引數據治理體系。

3 “視頻+大數據”視頻數據治理體系的建設內容

構建“視頻+大數據”數據治理體系的關鍵是建設本地動態索引服務，從而形成視頻圖像數據與傳統大數據關聯的橋梁。本地動態索引服務需要建設以下內容（見圖1）。

圖1 本地動態索引服務建設內容

3.1 搭建非典型特征屬性圖像庫

建立特征屬性關聯分析算法，按照對象識別、特征比對等信息，按相同特征屬性的視頻圖像進行聚合，滿足同一特征多張圖像的集合，在視圖庫中注冊成為非典型特征屬性圖像庫，形成非典型特征屬性圖像檔案。

3.2 構建本地動態索引服務

一是構建本地典型特征屬性庫，對重點關注特征屬性檔案和本地典型特征屬性檔案進行管理；二是多渠道匯集本地典型特征屬性數據，形成本地典型特征屬性檔案基礎信息；三是從多種渠道中選取最新留存的圖像信息，形成本地典型特征屬性庫中的檔案封面屬性；四是利用視頻圖像解析算法實現非典型特征屬性圖像庫與檔案封面屬性的比對分析，形成典型特征屬性關聯，從而構建本地動態索引服務。

3.3 通過級聯完善索引服務

一方面，匯聚動態索引檔案，并且更新高價值的動態索引檔案，形成動態索引服務的底庫。另一方面，非典型特征屬性圖像集合在本地不能實現動態索引關聯時，通過調用更全面的動態索引服務進行典型特征關聯，從而形成一體化的動態索引級聯共享服務。

4 視頻圖像數據動態索引后的價值

海量的視頻圖像數據經過“視頻+大數據”數據治理體系治理后，能夠明顯提升視頻大數據的賦能能力。具體表現在如下方面：

4.1 提升視頻圖像關聯分析能力

實現了“由圖到特征屬性”和“由特征屬性到圖”的關聯轉換，提高了海量視頻圖像數據快速查詢效率；能夠與大數據平臺關聯使用，實現虛實結合，豐富了多維信息的組合使用效率，提升視頻圖像關聯分析能力。

4.2 提升態勢預測能力

依托基于特征屬性構建的動態索引庫可實現對風險隱患的快速查詢分析和精細化管理，提升態勢預測能力。

5 主要結論

基于動態索引技術構建“視頻+大數據”的視頻數據治理格局，是通過研究對視頻數據建立動態索引和典型特征關聯分析，從而搭建視頻圖像數據與傳統大數據的橋梁，形成上下級聯的動態索引庫，提高視頻圖像特征屬性檢索效率，進一步“提純”和挖掘視頻圖像數據的價值，實現海量視頻圖像資源的高效應用，賦能社會治理現代化和智能化的大環境。