基于數據倉的監報表系統研究

■ 福建 林名濤

編者按：隨著國內經濟的快速發展，金融業改革不斷深入，金融監管日趨嚴格，手段更加多樣化，科技監管、自動監管將成為新趨勢。因此，為減輕統計負擔和提高報送質量，規劃建設統一的監管報表系統已成為金融機構信息化進程中一項重要任務。本文將探討基于數據倉的監管報表系統，幫助企業進行數據標準化建設。

下面筆者基于數據倉技術進行深入探討。

系統建設目標

1.存在的問題

財務公司為一家非銀行金融機構，大量的業務數據零散的分布在各業務子系統，數據元不足，數據內容與格式不統一，數據質量參差不齊，甚至出現重復相矛盾的數據。數據的不規范、不標準，使得難以對業務數據進行快速有效的分析和利用，無法實現監管報表信息化、自動化，無法滿足監管的要求。

2.系統建設目標

采用先進的技術架構以及成熟的工具產品建立統一監管報表系統，要求報表系統能自動對各業務系統數據進行有效匯聚，對數據進行篩選、抽取、清理轉換，并根據各業務主題的需求進行歸類、整理，形成規范化、標準化的數據子集，以滿足監管指標統計的要求。系統覆蓋各類監管報送品種（1104 報表、人行大集中報表、金融基礎數據統計、利率報備報表以及各種自定義報表），實現監管報表數據自動化、管理信息化，極大地提高報表數據質量和效率，有效減輕統計人員的工作量。

系統規劃設計

1.設 計思路

1991 年比爾·恩門（Bill Inmon）出版的“Building the Data Warehouse”（《建立數據倉庫》）一書中首次提出數據倉庫的概念。數據倉庫就是面向主題的、集成的、不可更新的（穩定性）、隨時間不斷變化（不同時間）的數據集合，用以支持經營管理中的決策制定出過程。數據倉庫技術就是對現有大量存在的數據進行整理、清洗、加工、歸類，形成標準化、規范化、高質量的數據，供企業決策分析之用。數據倉庫的基本邏輯架構如圖1所示。

圖1 數據倉的基本邏輯架構

ODS 層：是作為數據庫到數據倉庫的一種過渡，暫存從業務系統抽取的源數據，這些源數據從結構和數據上與業務系統保持一致，是后續數據倉數據加工的基礎。

DW 層：數據存儲集合體，按照一定的主題域對ODS 層數據進行清洗、加工、轉換、歸類而生成的數據集。數據倉庫記錄的是歷史變化數據，是分析和決策的數據來源地。

DM 層：數據集市，為了特定的應用目的或應用范圍，而從數據倉庫中獨立出來的一部分數據，也可稱為部門數據。一個應用可以裝配一個自己的數據集市。

圖2 數據倉的系統設計架構

數據倉技術如CT 掃描一樣，按一定的時間間隔對數據源掃描抽數，形成源數據。利用數據倉庫技術建立統一的監管報表系統，數據來源具有原始性、及時性、準確性，數據倉的數據處理方式又保證了數據的靈活性、統一性、規范性，從而為監管報表的數據生成提供強有力的保障。

2.系統架構

（1）邏輯架構

系統設計按照J2EE 規范標準，采用JavaEE 框架以及B/S 架構，用戶通過瀏覽器訪問系統，客戶端實現零管理。系統分為數據采集層、數據處理層和數據展示層，采用多層體系架構設計，各層相互獨立、靈活拓展，又緊密聯系、良好協同，實現整體效率的最大化，確保系統安全穩定運行，如圖2 所示。

①數據采集層（ODS+DW）

通過批量采集方式，從業務系統（客戶信息系統、結算系統、信貸系統、票據系統等）中采集最基礎的業務數據，并提供系統外數據的采集服務和管理，并按一定的數據模型、數據規范對數據源進行清洗、加工、轉換、歸類，形成規范的數據集。

②數據處理層（DM）

按特定的應用目的或監管范圍，對數據集的數據進行裝配，形成特定目的的數據子集，如1104 報表數據子集、存款基礎數據子集、貸款基礎數據子集等等。

③數據展示層（BI）

采用報表展現、圖形展現等方式集中展示各類監管數據及各類監管指標。功能包含報表管理、報表設計、取數據公式定義、指標分析、報表計算、數據補錄、報表的審核、報表上報、報表查詢以及報表的權限管理等。

（2）物理架構

數據倉的數據都為離線數據，通?；诰S度建模理論來構建數據表，與業務系統有較大的區別，因而數據倉一般采用獨立部署模式，建立獨立的數據庫服務器或者獨立的數據庫實例，與業務系統網絡可達即可。系統為B/S 架構，同時需部署應用服務器和Web 服務器，應用服務器用于后臺數據處理以及按報送要求組裝數據；Web 服務器主要為業務人員提供操作頁面服務，提供圖表展示，如圖3 所示。

圖3 數據倉的物理架構

3.數據治理

系統設計是否成功，報表取數是否正確，數據質量是關鍵，沒有高質量數據就如無米之炊、無根之本，要保證數據質量必須對業務數據開展數據治理。數據治理就是制定和實施系統化的制度、流程和方法，確保數據統一管理、高效運行，并在經營管理中充分發揮價值的動態過程。銀監會出臺的《銀行業金融機構數據治理指引》對數據治理也提出了明確要求，數據治理包含數據模型、數據標準、數據質量、數據管理以及數據安全等等。數據質量和數據標準是數據的靈魂，是建立數據倉的基礎和關鍵。

（1）數據質量

數據的質量直接體現數據的價值，直接影響系統報表數據的準確性以及數據分析的結果，并直接影響監管機構對金融市場的研判和管理。質量不高的數據不僅僅是數據本身的問題，關系到系統建設的成敗。要保證數據質量必須公司高層高度重視，將數據治理納入公司治理統一范疇，自上而下，統一協調行動，明確各業務部門的職責，加強對數據源頭的管控，確保數據的準確性、真實性、完整性、及時性。IT 部門輔以正確的技術和工具，提高數據的自取率，加強對數據的及時性、完整性以及準確性的限制，通過對關聯性的數據進行校驗和審核，盡可能減少數據的不一致性。通過對數據進行事前防范、事中校驗、事后監控三階段的管控，進一步提高業務系統的數據質量。

（2）數據標準

財務公司信息系統基本涵蓋資金結算、資金預算、信貸業務、票據業務、賬務處理、客戶信息管理、反洗錢系統、征信系統、銀企互聯等子系統，各系統之間的信息有重疊及不一致存在，影響了數據質量及數據共享，因此需要建立全司統一標準化數據模型，為數據倉提供高質量的數據元。

中國銀監會制定了《銀行業金融機構監管數據標準化規范》，明確金融數據的業務屬性和技術屬性，將相關業務數據結構映射成統一的監管標準化數據格式。參照規范并根據財務公司的業務特點，可將財務公司的業務分為8 個主題域，分別為基本信息、資產、負債、損益、授信/擔保、中間業務、支付清算、財務信息，并將主題域中的數據項抽取出來，對數據項進行分類、定義，編制統一的數據項名稱及數據項代碼，建立規范的數據字典，如圖4 所示。

圖4 8 個主題域

數據倉以數據字典為基礎，構建數據倉的數據集，建立業務數據源與數據倉數據項的映射關系，并在業務數據抽取過程中，對數據進行清洗和轉換，剔除錯誤數據，保證數據倉中數據的正確性和一致性，提升數據質量。

系統實證

2020 年筆者單位上線了基于數據倉的統一監管報表系統，系統集成了100 多張監管報表。系統每日自動從業務系統中抽取T-1 的數據，并經清洗、加工、轉換、分類形成了標準、規范的數據元，給各類報表提供了統一的、規范的數據源。上線以來，基本實現了報表數據的自動化、報表留痕、上報審批流、報表格式接口嵌入等功能，達到系統設計的預期效果。

結語

隨著金融行業改革的不斷深入和金融“強監管”時代的來臨，需要報送的報表越來越多，監管報表涉及的內容將更加廣泛、更加精細，對業務數據元的質量要求越來越高。數據倉技術只是數據的一種處理方式，要保證監管報表系統的實用性，需進一步推進企業級數據標準化建設，加強業務數據元精細化規劃，構建數據治理的長效機制，提升數據質量，數據源才是監管報表系統成功的基石。