情指行一體化體系中大數據技術的應用

張金鵬 王菁怡 孫慧超

摘要：作為公安機關提高犯罪偵查和治安防控能力重要的手段，大數據在公安工作中發揮著不可忽視的作用。但隨著公安信息化的不斷發展，信息量逐漸呈現出了指數級的增長，不斷加強對公安內部的信息數據、社會資源和互聯網資源信息的整合和處理以及對數據的深度挖掘，成為公安信息化新的發展方向。利用大數據技術將海量情指行相關的數據進行匯聚、清洗、治理、分析、預測，從復雜的數據中挖掘隱性規律和內在聯系，構建立體化、空間化的信息關聯體系，綜合分析應用并產生巨大價值是構建智慧警務的重要途徑。文章在深入分析情指行一體化建設的現狀和問題的基礎上，研究并設計了大數據融合應用平臺，借助大數據技術實現情報、指揮、行動等警務活動的一體化協同運轉，進一步提升公安機關在應急重大突發事件的處置能力。

關鍵詞：大數據；情指行；數據挖掘；協同運轉

doi：10.3969/J.ISSN.1672-7274.2024.03.027

中圖分類號：TP 3? ? ? ? ? 文獻標志碼：A? ? ? ? ? ?文章編碼：1672-7274（2024）03-00-04

0? ?引言

隨著互聯網特別是移動互聯網的發展，一個以信息爆炸為特征的大數據時代已到來，這對公安機關來說既是挑戰，也是機遇。傳統警務機制在處置突發性事件、預防與打擊新型違法犯罪時往往“力不從心”，難以達到機制構建與運行之目的[1]。為此，公安部加快推進全國公安機關深化警務改革工作，要求加快構建適應新發展階段要求的現代警務體系，深化推進情指勤輿一體化實戰化運行機制改革。

按照公安機關深化警務改革總體要求，2019年6月，公安部成立了情報指揮中心，擔負情報分析、研判預警、指揮調度、應急值守等重要職責，同時牽頭推進情指勤輿一體化實戰化工作機制并下發了《情指勤輿一體化實戰平臺建設任務書》，各省緊跟公安部的腳步陸續實現了情報和指揮部門的合并。

近年來，各地公安機關結合區域實際，積極探索，深入創新，延伸拓展，先行一步，積累經驗，在情指勤輿探索和建設方面取得一定成效[2]。在情報會商研判、風險預測預警、指揮調度、輿情監測分析等方面已經取得了豐碩的成果。但是情報指揮工作仍面臨著警情數量持續攀升、情報信息處理工作量井噴式增長，資源壁壘、手段壁壘、信息來源單一化等問題始終困擾著情報指揮工作的進一步提質增效[3]。同時由于情報平臺與指揮平臺都是舊有系統，處于條線建設、分散自治的情況，而且建設標準規范不一，難以適應新形勢下情指中心的工作模式，主要表現為以下幾個方面。

（1）基礎數據支撐薄弱。信息采集、監測能力弱，現有基礎數據難以支撐業務有效開展。情報指揮部門在可用信息監測、感知、探察方面缺乏基礎數據支撐，可應用于預警監測、感知、探察的數據資源鮮活度、完整性不夠。

（2）數據交換共享困難。由于現有情報與指揮業務系統是各自分散建設的，采取異構設計方式，數據建設標準規范不統一，導致“數據孤島”“數據壁壘”“數據煙囪”等問題普遍存在，數據碎片化現象嚴重，信息交換和信息共享困難。

（3）數據應用能力不足。情報研判預警、情報協作的技術支撐能力不足，難以形成合力。一是缺乏統一高效的智能檢索工具?，F有智能檢索工具智能化關聯程度不高，各類數據資源需到多個業務系統查詢。二是缺乏成熟、實用的預警發現、風險監測模型。通過系統分析研判為基層提供預警預判情報的智能預警模型仍然較少，無法進行深度合成研判，無法實現跨部門、跨警種、跨地區開展情報合成研判工作。

針對上述問題，本文深入研究了大數據在情指行一體化中的應用，設計了數據融合應用平臺。

1? ?概述

數據融合應用平臺為公安機關提供一站式的數據交換、數據開發、數據治理和數據服務能力，將海量、多源異構的數據整合并資產化，提升數據處理能力和融合能力，增強數據的及時性和一致性，解決公安機關內部數據孤島問題。

2? ?方案設計

2.1 系統架構

數據融合應用平臺各組成部分的主要技術框架均基于業內成熟的開源框架進行搭建，集成和擴展，支撐數據采集接入、數據存儲、數據治理、數據服務、數據應用、安全管控、審計分析等方面的能力。

從分層的角度，平臺分為數據集成層、數據治理層、數據開發層、資產目錄層、數據服務層。

（1）數據集成。針對結構化和非結構化數據，通過前置機的方式采集，提供文件、數據導入；針對互聯網數據，采用互聯網爬蟲抓取技術進行采集，同時對數據采集過程進行監控；然后對各種不同類型的海量異構數據進行存儲與管理服務。

（2）數據治理。數據融合應用平臺提供元數據服務、數據清洗、加工及增值數據產品制作的能力，包括元數據管理、數據清洗加工、數據血緣分析、數據質量分析等。

（3）數據開發。數據融合應用平臺提供圖形化大數據分析流程設計方式，用戶可以通過平臺的流程管理界面設計數據流（DataFlow）、工作流（WorkFlow）和實時數據流（Streamflow）。

（4）資產目錄。數據融合應用平臺通過資產目錄樹或多維度檢索條件來查詢數據資產信息，支持用戶對資產溯源，查看具體的數據源，元數據等詳情信息。

（5）數據服務。通過服務化的方式，在整合匯聚數據資源后，采用主題分類、模型算法、分析展現等數據服務方式，提供涵蓋業務數據、共享交換數據、音視頻數據等范疇的歷史數據、離線數據、實時數據的服務發布，為上層業務應用提供數據支撐。

2.2 部署架構

數據共享平臺采用微服務架構，支持分布式部署，最小支持單節點部署。

3? ?系統功能

3.1 數據集成

公安機關在履行社會管理職責過程中，已經掌握、管理、儲存了各類數據信息，這使得公安機關掌握的數據儲存海量化和類型多樣化。針對這些互聯網信息、生物特征信息、行為軌跡、圖片影像等海量數據進行智能化處理分析，是公安機關應用大數據的優勢，也是當前公安信息化建設的重點。

按照公安數據標準規范體系，全面匯聚人口管理、110警情、鐵路購票、民航通行、旅店住宿、車輛卡口、人像卡口、出入境等公安系統內部異構數據，外部對接企事業單位和政府部門等數據資源，采用ETL技術抽取與情指業務相關的數據或調用相關的數據服務接口，形成情報類、指揮類、勤務類以及輿情類等4大類業務專題庫，并以標簽化的形式進行分組管理，為情指行上層業務應用提供基礎的數據支撐。

3.2 數據采集

為了方便對大數據平臺之外的數據源進行采集，除了直接連接各種數據庫（Oracle、MySQL、SQL Server、PostgreSQL等），還支持在數據源處的前置機上部署采集器程序，通過對采集器進行采集任務下發、脫敏、數據同步等操作獲取數據。

與傳統的ETL工具最大的不同在于數據采集任務可以充分利用大數據平臺的計算能力，采用分布式的方式并行執行采集任務，使數據采集過程中的數據加載和數據轉換操作更加高效，保證了大數據量和高速數據流環境下的數據導入效率。

3.3 數據治理

（1）數據探查。通過對來源數據存儲位置、提供方式、總量及更新情況、業務含義、字段格式語義、數據結構、數據質量等進行多維度分析，以達到認識數據的目的。

（2）數據質量定義。根據數據探查結果，結合情指行實際業務需求定義數據的完整性，格式的有效性、值域的有效性、邏輯的合理性、主鍵的唯一性、數據唯一性以及數據更新的及時性，從而保障接入數據鮮活、實用。

（3）數據讀取。在完成數據探查及數據質量定義后，對抽取數據或者推送數據中檢查其是否與數據質量定義一致，不一致的停止接入，并重新進行數據的探查和定義；一致的執行進一步接入、處理。

（4）數據質量校驗。對讀取后的數據進行評估，及時修改接入和處理中出現的問題，使數據質量提升形成閉環。

（5）數據質量校驗。由于數據來源較為龐雜，海量的原始數據中存在許多不完整、不一致、有缺失、有重復、有異常的數據，直接進入各庫會大幅降低數據質量，會影響基于這些數據進行的各類分析的執行效率，甚至可能導致分析結果的偏差，所以進行數據清洗顯得尤為重要。在數據清洗的過程中，需要依據數據質量定義將不合符規范的原始數據轉化為期望的格式、滿足數據質量要求的數據。

（6）數據關聯。數據關聯以人員為核心，將公安機關內部業務系統數據，如?？跀祿?、軌跡數據、監所數據等進行關聯，并根據數據關聯信息，將不符合數據質量定義的數據進行關聯補充。

3.4 數據共享

情指行業務專題庫的建立需要依賴各種數據來源，情指行平臺是其中重要的數據來源，這部分數據如何安全可控地對接是一個很關鍵的問題。

為解決該問題，設計了數據共享架構體系，在數據融合應用平臺匯聚上級單位、各業務警種、鐵路、民航等數據的基礎上進行清洗治理，從而形成數據資產，通過情指數據共享平臺，以數據資源目錄的形式共享給其他單位，其他單位可以申請需要的數據，申請通過后即可使用這部分數據，數據的使用和訪問都是全流程記錄的，這樣可以在確保情指數據充分共享共用的基礎上，保證數據的安全可控。

3.5 數據分析

數據分析是公安機關情報研判環節中重要的支撐手段。一是利用高效的智能檢索工具，將人員、案件、車輛、警情、預警、軌跡等各類治安要素深度聚合后形成統一的知識庫，為實際案件研判分析提供百科式的檢索能力；二是構建算法模型加工廠，結合情指實際業務場景和公安實戰經驗，設計了數十種技戰法模型。

（1）智能檢索。將人員、案件、車輛、警情、預警、軌跡等各類治安要素深度聚合后形成統一的知識庫，為實際研判分析提供百科式的檢索能力。主要包括以下幾點。

①可視化研判分析平臺：通過直觀的可視、交互手段，將與事件相關的多源數據關聯并可視化展現、交互分析。

②全息檔案：將關聯的數據整合，通過以檔案的方式集中展示人員的基礎信息、管控信息、軌跡信息和關系信息等4大類70多子類的相關信息，并利用大數據進行人員的二次網絡拓展，構建人員軌跡和知識圖譜。

③會商研判管理：基于研判主題，構建研判主題、研判任務、研判協作請求、任務指令、研判結果、研判報告、研判交流的標準化管理體系。

（2）技戰法模型。預防打擊犯罪是我國公安工作的重要任務，講求打防結合，重在預防[4]。在當前公安信息化建設不斷深化的形勢下，將應用模式由事后研判轉向事前預防預警已成當務之急[5]。

情指行平臺構建了豐富的戰法模型，通過對社會治安相關的警情、安保、卡口、違法、事故、事件等多源數據的采集，運用大數據、機器學習等技術，深度挖掘數據背后的隱性規律，搭建監測預警模型，實現涉黃、涉賭、同行人分析、進入預警區域、離開指定區域、隱性重點人挖掘、群體異常串聯等隱性社會風險的預測預警，助力公安各警種的執法能力提升、安全保障任務的高效開展。

4? ?結束語

情指行一體化建設是新時代公安改革的重要組成部分，順應了中央深化公安改革的時代潮流，是提升公安整體戰斗力的重要途徑[6]。借助大數據技術打破部門警種壁壘，無障礙歸集整合公安機關內部數據，建立數據標準管理體系，對入庫的海量數據進行全面分類、清洗、標注，實現數據資源有效分流合流，把一個個“數據孤島”整合成為一片“共享大陸”，實現數據價值最大化，將是推進情指行一體化體系建設的重要支撐手段，更是建設智慧公安，推進公安工作現代化的具體體現。

參考文獻

[1] 王彬．論“情指勤輿”一體化運行機制之構建[J]．遼寧警察學院學報，2022（03）：1-7.

[2] 齊立偉．情指勤輿一體化實戰化運行體系研究[J]．公安研究，2022（08）：34-39.

[3] 黃愛國．“情指行”一體化運行機制建設的實踐與思考[J]．公安研究，2022（12）：20-24.

[4] 張鶴飛．大數據技術與公安工作：應用于挑戰[J]．北京警察學院學報，2015（03）：77-81.

[5] 金吉．大數據背景下公安積分預警系統設計研究[J]．中國安全防范技術與應用，2019（01）：58-62

[6] 趙峰．新時代背景下“情指行一體化”建設的思考[J]．遼寧警察學院學報，2020（05）：12-15.