實時數據處理在銀行交易風險監控中的應用

羅陽 陳昱瑩

隨著大數據時代的到來，全行數據量呈現爆炸式增長，銀行快速步入數據驅動未來的新時代。面對海量增長的用戶交易數據與行為數據，以及日趨嚴苛的數據時效性要求，傳統的T+1批處理模式已難以滿足目前的高時效業務需求。針對上述問題，基于流數據的實時數據分析方法逐漸受到大家的青睞，該方法能夠在數據發生的第一時間產生響應，及時作出相應處理及反饋，也可以結合存量數據或借助數據倉庫等系統批處理的數據，實時地分析出準確的結果。

本文首先簡單介紹了Flink流處理框架的原理與邏輯，然后通過該框架在三個交易與風險實時監控的實際案例中的應用，體現Flink流處理框架的實際應用優勢。

一、關于Flink與Kafka

（一）關于Flink

1、：Flink框架簡介

Flink是由Apache軟件基金會開發的開源批處理和流處理結合的統一計算框架，核心是一個提供了數據分發以及并行化計算的流數據處理引擎。作為流數據的處理引擎，Flink有著高吞吐量、低延遲、優秀的擴展性、可靠性，以及高容錯性等優點。

2、：Flink窗口簡介

窗口是Flink流計算的核心，窗口可以分為滾動窗口，滑動窗口，會話窗口。

滾動窗口：固定相同間隔分配窗口。

滑動窗口：固定相同間隔分配窗口，只不過每個窗口之間有重疊。窗口重疊的部分如果比窗口小，窗口將會有多個重疊，即一個元素可能被分配到多個窗口里去。

會話窗口：主要是根據活動的事件進行窗口化，他們通常不重疊，也沒有一個固定的開始和結束時間。一個會話窗口關閉通常是由于一段時間沒有收到元素。在這種用戶交互事件流中，我們首先想到的是將事件聚合到會話窗口中（一段用戶持續活躍的周期），由非活躍的間隙分隔開。

（二）關于Kafka

1、：Kafka平臺簡介

Kafka是由Apache軟件基金會開發的一個高吞吐量的分布式發布訂閱消息系統，它可以處理消費者在網站中的所有動作流數據。

2、：Kafka的Topic

Topic是Kafka數據寫入操作的基本單元，Flink作業會指定消費Kafka中特定Topic的信息。

二、案例介紹

（一） 銀行卡交易監控功能需求

針對洗錢與詐騙中常見的交易特征：多筆小額轉入后一筆大額轉出;一筆大額轉入后的多筆小額轉出。該需求提出了以下兩種實時監控規則（[]內為可配置參數）：

針對單個賬戶，[X]分鐘內[Y]筆資金轉入后一次性轉出（轉出后賬戶資金余額小于M元），類似交易場景一天內累計發生[Z]次以上?！毕到y即在當晚跑批時對當天單個賬戶[X]分鐘內發生[Y]次轉入一次轉出，相關業務場景當天累計發生[Z]次以上的賬戶登記為異常賬戶。

案例分析：經過分析規則得出方案，可通過判斷每筆轉出交易之前20分鐘內的最后三筆交易狀態的值當前交易是否觸發兩個規則。

實現方案：使用Flink消費由業務系統推到Kafka的交易流水的Topic，將所有賬戶的交易存到其所屬客戶號為key的緩存中（失效時間為1小時），同時針對每條轉出交易結合緩存中的同賬戶歷史交易，實時判斷是否觸發規則。

（二）某類貸款提款斷點續接

建立某類貸款提款中斷策略機制，基于客戶行為埋點數據（埋點數據包含客戶在客戶端上所有的頁面訪問、訪問時間、客戶號等實時數據），對客戶的交易行為進行監測。對于進入了某類貸款申請頁面，X分鐘后沒有進入到結束頁面的客戶，篩選掉不符合要求的客戶后，記錄入庫并按照要求通過客服電話或者短信的方式聯系營銷服務客戶。

案例分析：規則中要求篩選出X分鐘內沒有進入到結束頁面的客戶，這里可以用到Flink的會話窗口。

實現方案：Flink消費Kafka中埋點的topic，根據埋點流數據中為key的網銀客戶號，若該客戶號訪問了某類貸款提款的起始頁面則建會話窗口，超時時間為X分鐘。窗口結束后判斷窗口中是否訪問過某類貸款提款結束頁面，若未訪問，則將流水記錄落庫，并做之后通過客服電話或者短信的方式聯系營銷服務客戶的動作。

（三）某類貸款貸后監控規則需求

疑似群發假貸款-同一XXX項下相同特征多個借款人同時存款同一合作項目項下/同一客戶經理名下/同一...，當天X分鐘（在當天任意連續X分鐘）內，有>=Y個不同借款人，在同一柜員編號向還款賬戶存入與月還款額相近（（100-M）%——（100+M）%）的金額，在觸發以上報警后的連續Z個自然月內該筆貸款再觸發同一規則不再重復報警（通過交易過濾天數實現）。

案例分析：規則中要求當天任意連續X分鐘，這里可以使用Flink的滑動窗口。

實現方案：使用Flink消費由業務系統推到Kafka的交易流水，首先根據還款賬戶、借款憑證號等信息關聯其他的實時業務數據表補充信息（月還款額等），然后將數據按照柜員編號分組并放到X分鐘大小的滑動窗口中（窗口的滑動時間根據業務量判斷，可設置1分鐘滑動一次），判斷同一合作項目下/同一客戶經理名下/同一... 向還款賬戶存款是否觸發規則，記錄入數據庫中以及進行后續的步驟。

三、總結和展望

本文簡要介紹了一個流數據處理的計算框架Flink的原理與邏輯，并介紹了該框架在三個交易與風險實時監控實際場景中應用的實現案例。這些案例都展現出了Flink流數據處理有著諸多的優點，比如高時效性，即可在事件發生的時候實時進行需要的判斷以及處理;高擴展性，可以通過擴充集群來應對計算資源不足的問題。

隨著疫情的好轉，經濟發展逐步恢復正常，金融數據量也將會呈現出更迅猛的增長趨勢，面對高時效的大數據處理需求，基于流數據的實時數據處理必將成為未來最主流的發展趨勢。