智慧城市建設中的檔案大數據系統研究

席暢

（黑龍江大學信息管理學院 哈爾濱 150080）

智慧城市建設中的檔案大數據系統研究

席暢

（黑龍江大學信息管理學院 哈爾濱 150080）

本文從信息時代轉變檔案傳統觀念入手，對智慧城市構建中的檔案大數據系統探究式地加以分析和設計，提出了依照檔案實際內容流程搭建高智能基礎設施框架理念，實現從海量信息和數據中抽取和挖掘有用的信息和資源，有效擴展檔案庫藏，并通過檔案大數據系統平臺的構建，有效提升現代檔案管理及檔案服務功能。

智慧城市 觀念 檔案大數據 檔案信息資源

智慧城市作為國家現代化水平的重要標志之一，已被列入重要議事日程。就“智慧城市’而言，核心體現為“智能”。未來城市猶如一座龐大的智能機器，像人的大腦一樣，具備有效支配、協調和組織各部分相互配合、完成指定任務的功能，同時具備危機預測、預警、自動生成應急預案、采取必要措施的能力，還具備發現和預測各行業未來走勢、提出初步方案的能力，并具備預測行業走勢、生成指導意見、開展創新和創造的能力等等，體現高度的智能。檔案大數據系統作為智慧城市建設的一個重要組成部分，承擔著歷史傳承及推動人類社會發展的重要任務和使命，通過大數據技術，使我們能夠做到深入挖掘檔案資源、擴展檔案庫藏，實現有效管理、組織和利用，發揮檔案社會服務功能和作用的時代效能。檔案大數據系統的建立，必將成為智慧城市建設的重要標志和重要支撐之一。

一、做好建立檔案大數據系統觀念上的準備

1.建立大數據檔案系統需要思維觀念的轉變。目前的檔案管理，依然以傳統方式為主，而數字檔案資源建設基本上處于探索和嘗試階段。大數據的產生，是數字化時代的必然，有效處理和利用日益增大的數據資源，需要新的模式和技術，并通過新模式、新技術產生巨量的檔案資源，為國家、社會和民眾服務。這一切必將對檔案從業人員思維觀念造成極大沖擊。面向未來，無論業內決策者或領導者，還是檔案館從業人員，乃至檔案研究或教學人員，都必須摒棄觀望或保守的消極態度和思維觀念，要強化學習，更新觀念，開放思維，踏實工作，為加快檔案信息化建設進程做好思想和行動上的準備。

2.建立大數據檔案系統需要樹立正確的開發觀念。目前對于檔案信息資源開發觀念的認識存在三個誤區。一是片面強調檔案的機要性、保密性，人為抵制檔案的開發與利用；二是開發檔案資源無用論，認為檔案工作不存在技術含量和學問，無需檔案資源開發；三是由于資金有限，難于達到檔案大數據系統建設要求。檔案大數據系統的開發，是強國利民、邁向全面現代化的重要組成部分，時不我待、刻不容緩。我們在轉變觀念、樹立信念的同時，要立足長遠、著眼現實，有計劃、有步驟地開展工作，扎實有效地推進檔案大數據系統開發進程。

3.建立大數據檔案系統需要樹立完備的安全觀念。目前檔案工作者缺乏網絡安全專業教育，對檔案信息安全管理缺乏針對性和執行力。相關政策法規和制度建設及標準化管理、計算機輔助管理等相對檔案信息化發展步伐明顯滯后。檔案作為國家戰略決策的重要資源之一，具有豐富內涵和利用價值，同時在檔案安全上有其特殊的要求。我們在檔案大數據系統建設中，在充分重視增強檔案從業人員安全防范意識的同時，要切實加強網絡安全設施、安全技術手段及政策法規建設，創造安全的系統環境，為有效開發和利用檔案大數據系統創造有利條件。

二、智慧城市建設中的檔案大數據系統探究

大數據技術支持巨量的存儲與存儲處理，使檔案資源的統一管理成為可能。檔案大數據服務平臺的構建應具有異構、開放、移動、協同和融合性等特征。注重用戶實際需求，通過構建和整合不同信息資源、網絡平臺,為用戶提供安全的使用環境,實現用戶的無障礙利用。檔案大數據系統的設計不僅需要解決超大數據造成服務器容量不足問題，同時要把有效降低投資和維護成本融入系統設計理念之中。構建檔案大數據系統平臺，應按著檔案實際內容流程進行設計，應包括檔案的數據采集層、數據存儲層、數據轉換層、數據互聯層和數據管理層等五個層面的內容。如圖1智慧城市建設中的檔案大數據系統結構圖。

圖1 智慧城市建設中的檔案大數據系統結構圖

1.檔案數據采集層。大數據環境中，檔案作為數據的一部分，與傳統意義上的檔案有著明顯的區別。形式表象呈現多樣化。而高質量的檔案數據和信息獲取渠道，不僅來源于已有局域網中的結構化數據，同時能夠通過網絡交互、傳感器、RFID射頻、及B/S移動輸入等多種渠道獲取非結構化數據，實現采集、變更與處理。由影像識別技術獲得的動態數據，由掃描、攝影而輸入計算機獲得的紙質文檔，都是由半結構和非結構化數據變更為結構化數據的實際例證，這種做法既便于工作人員查找原始數據，同時也避免重復錄入，產生堆積。

采用方法：一是建設基于文檔一體化的電子檔案管理平臺，加強電子檔案的接收與管理；二是建設業務數據庫采集管理平臺，集中管理各單位有長久保存價值的業務檔案數據庫；三是建設媒體信息采集平臺，實現檔案館對網站、廣播、電視等媒體信息的智能采集和自動歸檔；四是建設基于城市記憶理念的數字文獻資源收集和管理平臺，有計劃地大規模積累城市歷史文化資源，并通過專用網站提供權威的城市歷史文化資源，搭建城市記憶體系。

2.檔案數據的存儲層。數據存儲層是各類異構數據源存儲形式的抽象。智慧城市中數據源有多種存儲形式，例如關系數據庫、半結構和非結構化文檔、多媒體數據等，因而數據存儲層具有巨量、異構、分散的特征。作為數據存儲層，主要有兩種數據存儲形式：一是存儲在各類數據庫中的結構化數據；二是以文件形式存儲的半結構或非結構化數據。

建立大數據數據源的重要基礎是檔案的數字化。在做好該項工作的同時，要完善電子文件和檔案數字化成果管理服務體系，為服務器集群的數據整合和處理、即大數據處理做好準備工作。

圖2 檔案數據的存儲

3.檔案數據的轉換層。根據數據過濾和清洗規則，對已經采集到的大數據源實施可用性檢查和質量分析，對數據實施過濾與清洗，使數據整合時具有較高的可操作性和價值密度。避免出現巨量數據傳輸中的擁擠、塞堵及產生冗余空間等現象。

利用云計算的分布式系統制作檔案大數據源的轉換層，能夠具備足夠的數據傳輸和存儲能力，達到檔案大數據的智能交互，進而構成由方法庫、知識庫及模型庫共同組成的多維數據模型。針對不同的數據類型，數據轉換層主要利用兩種技術手段：對于結構化數據(主要是指關系型數據)利用RDB至RDF映射技術(RDB2RDF)；對非結構化數據(主要是指多媒體數據)利用數據語義標注標簽對數據實施RDF標注。

4.檔案數據的互聯層。檔案數據的互聯、整合主要體現為采用數據接入技術（包括廣域網、局域網、個人網等），將數據采集層已處理過的數據安全、穩定、快速地輸送到上層，并通過數據交互功能模塊形成檔案大數據源共享系統、并具備“智能交互”功能。

檔案數據互聯包括控制系統、運行引擎，基礎平臺管理等?？刂葡到y指通過調度、轉換、功能等方面對檔案數據進行索引和協同搜索，運行引擎指的是對數據對象、數據訪問、工作流的引擎和任務引擎的整合，一個分布式文件系統的實現，能夠做到經濟高效地分析PB級的結構與非結構化數據或信息；基礎平臺管理包含日志管理、數據訪問及訪問策略、信息通知、異常處理、緩存管理，是對檔案數據按照預定規則存儲，并進行庫內的科學分析。

5.檔案數據的管理層。檔案數據管理層面指的是使用和維護系統的接口,包括數據共享、數據維護和數據分析，是數據服務的指揮中心。通過多維分析、數據挖掘和各種查詢三個工具實現人機交互界面。通過對人機交互、操作邏輯、界面美觀的整體設計，實現登陸與認證、數據存儲、數據操作、數據查詢、基本參數設計等功能。不管采用何種技術，關鍵是應用。應用需要的數據才是有價值的數據，只有生成多模式、多樣性的應用數據，檔案大數據源的價值才能得以充分體現。

智慧城市構建中的檔案大數據系統建設是一項長期、復雜的系統工程，還面臨著諸多技術與非技術的困難和問題。如何科學、合理地設計和搭建高智能的系統框架，是檔案業內人士應該認真思考、認真對待、認真研究的重要課題。未來智慧城市的檔案大數據系統，將使檔案部門走出象牙塔，成為公眾與政府之間的橋梁，這座高智能的橋梁，必將為用戶帶來全新的體驗和收獲，為國家全面實現現代化，為人類的發展和進步做出突出的貢獻。

[1]席暢.大數據環境下未來檔案館建設的新構想[J].云南檔案,2017（1）:55-57.

[2]席暢.淺談互聯網+檔案信息化[J].黑龍江檔案,2016（1）:52-53. [3]楊智勇,周楓.面向智慧城市的檔案信息服務模式探究[J].檔案學通訊，2016（4）:44-49.

[4]郝偉斌.面向智慧城市的檔案信息化[J].檔案管理，2013(4):21-23.

Research on Big Data System of Archives in Smart City Construction

Xi Chang
(Information Management Department of Heilongjiang University,Harbin 150080,China)

Starting from the change of traditional archives concept,this article analyzes and designs the big data system in the construction of smart city,puts forward the idea of building the framework of the high intelligence infrastructure according to the actual content flow of the archives,tries to extract and excavate useful information and resources from the massive information and data,and then effectively expand the archives storage.Besides,through the building of big data system platform,the modern archives management and service function can be effectively enhanced.

mart city;concept;archives big data;archives information resource

G270.7

A

2017-04-07

本文為黑龍江省高校本科科研業務費黑龍江大學專項資金“智慧城市背景下檔案信息資源規劃研究”（項目編號：HDJDZ201613）階段性研究成果；教育部人文社科規劃基金項目“信息文明視閾下檔案文化范式轉型研究”（項目編號：12YJA870015）；國家社科基金項目“信息文化視閾下檔案價值認知轉型研究”（項目編號：13BTQ066）?！镒髡吆喗椋合瘯?，黑龍江大學信息管理學院2015級檔案學研究生。

10.16565/j.cnki.1006-7744.2017.15.05