基于VAE-GAN 算法的信用卡欺詐檢測模型

嚴嘉鈺 貝世之 章 樂

北京電子科技學院,北京市 100070

引言

隨著人們對美好生活需要的進一步提高,經濟市場化程度不斷提升,信用卡這一支付手段也日益普及,其為人們帶來便利的同時,由偽造、冒用信用卡和偽裝持卡人所造成的信用卡欺詐問題也為人民財產安全和市場交易秩序帶來了嚴重危害,因而信用卡欺詐檢測也成為亟需解決的主要問題。

信用卡欺詐檢測,本質上是一個分類問題,就是將信用卡消費行為分為有欺詐風險和無欺詐風險的兩類,其重點在于對信用卡交易中的異常數據進行識別。 近幾年來,隨著數據量和計算機計算能力的提升,越來越多的學者開始將機器學習方法應用于信用卡欺詐檢測中。 莫贊等人[1]針對傳統單個分類器在處理不平衡數據中的局限性,提出對抗生成網絡-自適應增強-決策樹算法,即GAN-AdaBoost-DT。 Zhang 等人[2]研究出基于加權支持向量機的信用卡欺詐檢測方法,通過加權支持向量機SVM 算法,提高了異常數據檢測性能。 陳榮榮等人[3]采用XGBoost算法令信用卡欺詐檢測的AUPRC 值更接近1。Prasetiyo 等人[4]引用隨機森林算法對合成的數據集進行訓練和驗證,其識別效果比簡單的機器學習算法效果更好。 Lebichot 等人[5]運用評估增量學習策略,設計出一種基于評估增量學習策略的信用卡欺詐檢測系統,其多樣性遷移學習和集成學習方法提高了檢測的準確性。 琚春華等人[6]運用k 最近鄰(kNN)分類算法和合成少數類過采樣技術(Smote)算法,設計了基于kNNSmote-LSTM 的信用卡欺詐檢測網絡模型,在提升模型性能的同時,克服了生成新樣本時的局限性和盲目性。

在目前的銀行欺詐檢測系統中,主要采用的是群體行為分析,即僅通過交易是否滿足欺詐行為來判斷是否是欺詐交易[7],適用機器學習進行檢測。 而關于用機器學習的方式檢測信用卡欺詐行為,有監督的機器學習往往需要大量的人工標注數據,且只能檢測同種特征行為的欺詐。在尋找更優的處理方式的過程中,人們寄希望于以無監督的學習方法進行信用卡欺詐檢測,即異常檢測[8]。

現有的深度異常檢測通過使用無監督的深度學習來解決這個挑戰,然而在他們之中表征學習與異常檢測方法往往是分開的,例如自動編碼器中的中間表征和生成對抗網絡中的潛在空間,所以它可能產生次優的表征,甚至是不相關的。針對學術界目前的研究成果以及面臨的難題,本文通過創新性地結合優勢神經網絡結構和學習方法,在無監督學習的基礎上運用基于VAEGAN 的算法訓練神經網絡,幫助模型學習到更好的判別策略,不斷逼近甚至超過現有的最佳結果。

Guansong Pang 等人提出了一種名為Dev-Net[9]的深度異常檢測方法,其通過先為少量帶標記的異常數據強制分配得分,然后根據先驗概率計算一部分正常數據的得分均值作為基準值,由正常數據與異常數據得分的偏差作為優化目標,使異常數據得分逐漸偏離基準值。 該方法與本文方法在相同數據集下有著在AUC 值上約2%的優勢,然而其模型訓練時仍需要少量帶標簽的異常數據,并非真正意義上的無監督學習,因此與本文方法無直接比較性。 除此之外,本文的主要貢獻如下:

1) 針對未來可能出現的、當前數據集中所不具備的新型欺詐數據,本文充分運用了更加符合實際情況的無監督學習方法,令模型具備檢測出新型欺詐數據的能力;

2) 利用了信用卡欺詐檢測數據集中正常樣本數量占比極大、異常樣本數量占比極小這一特點,在以無監督方式訓練VAE 型網絡重構能力的過程中,由于異常樣本的占比極小,其影響可以忽略不計。 運用GAN 對抗獲得生成能力更佳的VAE 型網絡時,異常數據經過VAE 型網絡映射后分布位置離正常數據較遠這一特點,精確區分出異常數據和正常數據;

3) 實驗表明,針對于信用卡欺詐檢測問題,本文在采用無監督學習的情況下,測試結果的AUC 達 到0.9581,Recall 達 到0.9118,ACC 為0.9468。 數據集可以從該url①https:/ /www.kaggle.com/datasets/mlg-ulb/creditcardfraud中獲取。

1 基礎知識

對聚類算法的研究是機器學習領域的一個基礎且重要的課題,變分自編碼器和生成對抗網絡是深度神經網絡聚類算法的有力工具。 本部分將簡要介紹變分自編碼器和生成對抗網絡的基本原理,以及如何結合變分自編碼器和生成對抗網絡構造信用卡欺詐檢測模型。

1.1 變分自編碼器

變分自編碼器是由Kingma 等人[10]提出的基于變分貝葉斯(Variational Bayes,VB)推斷的生成式網絡結構,是一種借鑒變分推斷原理的深度神經網絡,通常作為生成模型,其中含有多個隱藏層,結構上包括編碼器和解碼器。 編碼器可以將復雜分布的樣本數據投影到簡單的隱變量空間,將原始數據x轉換為潛在特征z, 實現對樣本數據的特征提取,編碼表示為:z～Enc(x)=qφ()。 解碼器可以還原在隱變量空間里取樣的數據,將潛在特征z重構為新的樣本數據解碼表示為:其中參數φ、θ由變分自編碼器的神經網絡進行更新。 由于以上過程中的潛在特征z的分布無法直接觀測,因此引入變分自編碼器的編碼過程qφ()來代替真實的后驗分布pθ(), 為了使qφ() 和pθ() 近似相等,變分自編碼器使用KL散度來衡量兩者的相似度,并且通過參數φ、θ使KL散度最小化[11]:

根據相關文獻[11]的數學推導,可以得到變分自編碼器的損失函數通常為:

其中第一項是變分自編碼器的KL損失函數,第二項是變分自編碼器的重構損失函數,x為原始數據,z 為潛在特征,φ、θ為編碼器和解碼器的分布函數。

變分自編碼器的作用是通過學習輸入樣本的潛在特征,然后通過重構數據的方式讓輸出與輸入盡可能相似,這一點與傳統的自編碼器(Auto-Encoder,AE)有著相似之處,但自編碼器主要采用重構誤差的方式重構數據,尋找的是單值映射關系,其只能近似地復制,并只能復制與訓練數據相似的輸入,同時其是自監督算法,并非無監督算法。 而變分自編碼器更關注原始數據對象的數據分布模式,尋找的是分布映射關系,更適用于生成數據,并且考慮了KL 損失函數和重構損失函數,使得生成的樣本具有更強的泛化能力。 變分自編碼器能夠令輸入樣本被投影到隱變量空間時盡量滿足標準正態分布,易于抽樣處理,同時能夠有效防止模型過擬合,在信用卡欺詐檢測中具有更強的適應性。

根據以上性質,本文將測試集輸入到訓練好的變分自編碼器中,變分自編碼器將輸入數據投射到隱變量空間,由于訓練效果好的變分自編碼器有較強的“欺騙能力”,因此正常數據在隱變量空間中的分布將會非常貼近原始數據,而分布位置離正常數據較遠的數據則可以標記為異常數據。

1.2 生成對抗網絡

生成對抗網絡由生成器G 和判別器D 組成,生成器G 的作用是將輸入樣本映射到近似真實數據空間的隱變量空間之中,生成與輸入樣本盡可能相似的虛假樣本,從而盡可能地“欺騙”判別器D。 判別器D 是一個二分類器,其作用是判定輸入樣本是否來自于真實的數據集。

生成對抗網絡的訓練過程是一個博弈的過程,在訓練過程中,先訓練判別器D,提高其判別能力,以正確區分真實數據和生成數據,而后訓練生成器G 以混淆當前版本的判別器D,根據判別器D 的判別結果進行優化,從而提升生成樣本的能力。 循環上述過程,交替訓練判別器D和生成器G,逐漸提高判別器D 的判別能力和生成器G 的偽造能力,直到生成器G 生成的樣本接近真實樣本,判別器D 無法判別真實樣本和生成樣本,達到動態平衡。 理論上,當生成數據空間和真實數據空間完全重合時,判別器就無法再區分真實數據和生成數據了,而生成器也達到最優而無法進一步訓練,該平衡點被稱為納什均衡[12]。 生成對抗網絡的損失函數通常為:

其中Pdata(x) 為真實樣本的數據分布,Pz(z) 為生成樣本的數據分布,x為真實樣本,z為服從某一分布的隨機變量。

信用卡欺詐檢測問題的數據維度較大,數據分布極不平衡,數量稀少的異常樣本所提供的信息量很難使分類器具有很強的分類能力。 生成對抗網絡可以通過模仿原始數據生成相似的異常數據與相似的正常數據,不用收集大量的原始異常數據也可以很好地進行模型訓練,非常契合異常數據極少的信用卡欺詐檢測問題。 因此,將一個變分自編碼器作為生成器G,通過生成對抗網絡的判別器D 提升生成器G 的映射能力,根據輸入樣本被映射后的分布位置判定樣本正常與否,可以作為信用卡欺詐檢測的一個新思路。

2 VAE-GAN 算法

根據變分自編碼器可以將數據映射到隱變量空間的優勢和生成對抗網絡可以在博弈的過程中優化生成器G 和判別器D 的優勢,本文參考Larsen[13]等人提出的VAE-GAN 模型結構,將變分自編碼器作為生成對抗網絡的生成器G,與判別器D 共同訓練,共享參數,提出了一種VAE-GAN 算法,將變分自編碼器作為最終的判別模型。 在采用本文所描述的VAE-GAN 算法時,訓練好的模型具有更強的正常數據生成能力,結合樣本空間上的分布差異,能夠有效檢測出異常數據。

2.1 無監督的學習方式

常見的有監督或半監督機器學習方法往往需要大量的帶標簽數據,具體到信用卡欺詐檢測領域中,即需要大量的實際欺詐數據作為其訓練集。 然而,在現實生活中,信用卡交易信息極為龐雜,且隨著信息技術的不斷發展與普及,數據量將變得更加驚人,相比之下,欺詐數據的數據量極少,而欺詐手法又不斷更迭,這些小樣本數據的監督學習標簽具有較大的局限性,在效果與實用性上差強人意。

本文使用無監督的學習方法進行信用卡欺詐檢測,其總體流程為:對交易原始數據進行預處理得到特征矩陣;通過PCA 對特征值進行降維;最后通過本文所提出的算法對降維后的特征矩陣進行無監督學習,得到聚類模型。

2.2 算法簡介

在無監督的學習方式下,基于生成模型的異常檢測方法不要求數據帶有標簽,能夠直接學習并獲得輸入數據的分布,之后根據重構損失的大小判定異常數據,即異常數據的重構損失較大,正常數據的重構損失較小。

運用VAE 型生成網絡,將輸入樣本送入編碼器進行編碼后可以得到隱特征向量,根據數據分布的不平衡性,使生成網絡具有較強的泛化能力。 但如果泛化能力過強,也將導致部分與正常樣本存在交集的異常數據重構誤差較小,從而影響檢測效果。 GAN 的思想可以解決這個問題,判別器可以限制生成樣本的分布質量,強制重新編碼后的數據與真實的數據分布的偏差保持在合理的范圍內。 在信用卡欺詐檢測模型方面,目前尚未有人結合無監督學習方法和VAE-GAN算法進行異常值檢測,而本文運用上述方法取得了較為可觀的實驗成果。

本文所提出的VAE-GAN 算法流程如圖1所示。

圖1 VAE-GAN 算法流程

其在網絡結構上由VAE 型生成器G和判別器D兩個子網絡組成。 VAE 型生成器G中又包含編碼器GV(x) 和解碼器GD(z)。 對于輸入數據,首先經過編碼器GV(x) 學習其特征分布,獲得其潛在特征表示z的概率分布,z在重新參數化成正態分布后,經過解碼器GD(z) 得到x的重構數據x-。 具體步驟如下:

步驟1 輸入n 個真實樣本x={x(1),x(2),…,x(n)};

步驟2 編碼輸入樣本z～Enc(x)=qφ();

步驟3 假設z～p(z|x)=N(μ,σ2),引入外部向量e～N(0,1),通過z=μ+e×σ計算編碼z;

步驟4 解碼z同時忽略,生成重構樣本

與單獨使用傳統的生成對抗網絡生成樣本不同的是,傳統的生成對抗網絡會將均勻分布隨機采樣得到的噪聲點放入生成網絡之中,這種方法所生成的重構數據與真實數據將存在較大差距,如圖2 所示,即生成的重構數據無意義,導致無論是正常數據還是異常數據經過重構后都與原始數據較差較遠。

圖2 GAN 網絡生成樣本分布

而本文VAE-GAN 算法中運用VAE 型生成器G學習到輸入數據的潛在特征,有效降低了生成對抗網絡重構數據時帶來的不確定性,根據信用卡欺詐檢測數據集極不平衡的特性,生成器G學習到的潛在特征將更趨向于正常數據,此時原正常數據的重構數據x-的分布將極為接近正常數據,而異常的數據經過映射到隱變量空間后,其分布位置將會離正常數據較遠,如圖3所示。

圖3 VAE-GAN 生成樣本分布

VAE-GAN 算法中的生成器G通過學習輸入更趨向正常數據分布的潛在特征后,其輸出的重構數據x-被輸入到判別器D中進行判別,判別器D在被“欺騙”的過程中不斷優化,再將判別結果反饋給生成器G, 生成器G根據判別結果繼續優化自身的“欺騙”能力,兩者不斷迭代尋優,直到達到動態平衡。

2.3 模型訓練

對VAE-GAN 算法模型的訓練過程就是獲得正常輸入樣本的潛在特征,并利用其經過映射后的分布特征區分正常數據和異常數據的過程,其結構如圖4 所示。

圖4 VAE-GAN 算法模型結構

首先對輸入樣本進行預處理,對獲得的原始數據進行PCA 降維,之后對帶有標簽的數據進行去標簽化,作為輸入數據。 設置好神經網絡的結構之后,將無標簽的原始數據送入判別器D中,將原始數據x降維至一個較小的維度,即提取出原始數據的特征表示,標記為邏輯真值lr;同時將無標簽的原始數據送入VAE 型的生成器G中,通過編碼器GV(x) 提取原始數據x的近似后驗分布qφ(z|x),經過重參數化提取出潛在特征z, 再經解碼器GD(z) 得到重構數據, 如式(2-1)所示:

模型在參數最優化求解上使用的是Adam優化算法,Adam 能自適應地根據訓練數據特點迭代地更新參數權重。 使用均方損失函數計算生成數據與原始數據間的重構誤差Lrec,其定義如下所示:

根據損失更新判別器D的各項參數及梯度,讓判別器D得到優化,在D的優化過程中,G的權值參數保持不變,只通過反向傳播對D的權重進行優化訓練;之后將重構數據輸入到優化后的判別器D中,得到新的邏輯假值l f′, 這一新的邏輯假值l f′將會和邏輯真值lr一起被用以計算生成器的損失Lg,其定義如下:

同樣通過Adam 優化算法,根據損失更新生成器G的各項參數及梯度,讓生成器G也得到優化,在G的優化過程中,D的權值參數保持不變,只通過反向傳播對G的權重進行優化訓練。不斷重復上述過程,在不斷的相互對抗中迭代尋優。

與常見生成式對抗網絡算法不同的是,最終被固定下參數并參與異常值檢測的不是判別器D,而是VAE 型的生成器G。 由于原始數據不斷被映射到隱變量空間中,信用卡欺詐檢測數據集的極不平衡性令正常數據在訓練集中的占比遠遠大于異常數據,因此最終固定生成器G的參數時,得到的是能夠最大程度還原正常數據分布的生成器G。

2.4 異常值檢測

在模型完成訓練之后,此時的VAE 型生成器G已經具有很強的還原數據即集中正常數據分布的能力。 在測試過程中,把測試集中的樣本送入訓練好的VAE 型生成器G,在檢測過程中,生成器G會先將測試樣本送入編碼器GV(x) 進行編碼,然后將編碼器所提取的潛在特征進行重新參數化成正態分布,之后經過解碼器GD(z) 重構數據生成一個新的樣本,通過計算新樣本和原始測試樣本的均方差,便能通過均方差的大小與閾值的比較判斷該數據的標簽值。

如果輸入的測試數據是欺詐數據,在經過重構后,這一原始的欺詐數據樣本和其重構樣本之間在空間上的距離將會非常大,即其重構誤差值[14]將會非常大,因此二者的均方差也會非常大,以至于均方差大于所設置的閾值,從而被檢測出異常。

具體的閾值可以由ROC 曲線中的靈敏度和特異度計算約登指數來確定,小于閾值會被判斷為正常,否則被判斷為異常[15]。

3 實驗結果

本文中的訓練過程均在華為云服務器AI 加速 型 ai1s. xlarge. 4、 CPU Intel SkyLake 6151 3.0GHz / Intel Cascade Lake 6278 2.6GHz、16 GB RAM 環境下和CentOS 操作系統下進行,并使用Python3.8 及Pytorch 框架進行實驗。

3.1 數據集

本文采用Kaggle 中的高維數據集Credit Card Fraud Detection 進行實驗,該數據集包含了歐洲信用卡用戶在2013 年9 月通過信用卡進行交易的數據,原始數據為兩天內所產生的交易信息,其中共有284,807 筆交易,在這之中只有492 筆交易發生了信用卡欺詐,數據集高度不平衡,欺詐數據僅占所有交易的0.172%。 在本套數據集中,數據已經過PCA 主成分分析技術被分為30 個維度,共包含284,807 個對象,其中類標簽為“0”的正常樣本共284,315 個,類標簽為“1”的異常樣本共492 個,其分布如圖5 所示。帶標簽數據僅用于驗證集驗證,而訓練集所用數據為去標簽數據。

圖5 Credit Card Fraud Detection 數據集的數據分布

3.2 評估指標

本文對模型評估所采用的性能指標是AUC(Area Under Curve)、召回率(Recall)、準確率(Accuracy)、F 值(F-score)。

AUC(Area Under Curve)值是接受者操作特征曲線(Receiver Operating Characteristic)下的面積,該值越大則意味著模型的效果越好,在數據不平衡的情況下依舊可以對模型結果進行的合理預測。 召回率(Recall)表示所有正常樣本中,被正確預測出的比例。 準確率(Accuracy)表示模型正確判斷的樣本占數據集總樣本數的比例。

F 值(F-score)是精確度(Precision)和召回率(Recall)的值的調和平均,其計算公式為:

其中β值影響精確度(Precision)和召回率(Recall)兩者間的權重。 當β＜ 1,表示分配給精確度(Precision)的權重更高,當β> 1, 表示分配給召回率(Recall)的權重更高。 而在信用卡欺詐檢測中,當真實值為正,而未被成功預測為正(FN)時,成本很高,如本身為欺詐數據而被判斷為正常數據,因此非?？粗卣颖颈徽_預測的比例,即召回率(Recall)。 因此在本實驗中,為β賦值為2 計算F 值[16]。

3.3 實驗結果及分析

對于數據集,首先將其隨機打亂為三個部分:70%用于訓練,20%用于測試,10%用于驗證。 為了研究不同超參數對實驗效果的影響,驗證集中采用K 折方法將數據劃分為三份包進行交叉驗證,并使用ROC 曲線中的靈敏度和特異度計算約登指數,找出最佳閾值作為不同模型下二分類的標準。 交叉驗證后得到不同生成器網絡結構下的AUC 值與召回率,取其中召回率超過90%的生成器網絡進行AUC 值比較,得到表1,由表可確定生成器結構為[16,2],閾值為2.29 時,模型效果最佳。

表1 不同生成器網絡下的AUC 值

此后通過控制變量法調節其他超參數,直到獲得最優模型,其超參數設置見表2。 此時模型在此數據集上獲得最佳分類效果。

表2 本文中最優模型的超參數設置

該最優模型的混淆矩陣和ROC 曲線如圖6所示。 以此最優模型及其相應超參數代表本文所提出的模型,計算出其AUC 值、召回率、準確率以及F 值這四個評估指標,多次實驗取得最優值,并與其他模型進行對比實驗。

圖6 最優模型的混淆矩陣和ROC 曲線

為驗證變分自編碼器相較于傳統自編碼器在本文環境中的優越性,以AE 型生成器替換本文模型中的VAE 型生成器,控制無關變量相同,更換不同隱藏層參數在相同實驗環境下進行多次實驗,分別獲得其與本文模型隱藏層參數相同時的分類效果以及在自身最優隱藏層參數下的分類效果,取實驗中最優值與本文模型分類效果進行對比實驗,結果如表3。 可以看出,VAE 型生成器的各項指標均高于AE 型生成器,其中AUC 值高約1%,說明其有著更好的分類效果;而召回率高約1.6%,因此,認為本文所選用的VAE 型生成器較傳統AE 型生成器更適用于信用卡欺詐檢測這一領域。

表3 AE 型與VAE 型生成器對比

為驗證本文模型在信用卡欺詐檢測問題上的有效性,本文在Kaggle 上選取了同樣在該問題下進行無監督分類學習且效果為當前算法/模型中表現最優的幾類與本文模型進行對比,最終選取的四種算法分別為:Isolation Forest、Kmeans、LOF、One-Class SVM。 其中,不同算法/模型的超參數設置見表4。

表4 不同算法/模型的超參數設置

各算法/模型與本文模型在相同實驗環境下的實驗結果對比如表5 所示,其中加粗項為該評估指標中最優的一項[17-19]。

表5 不同算法/模型實驗結果對比

可以看到,相對于模型效果次優的Isolation Forest 算法,本文所提出的模型在AUC 值上領先其5.77%,具有較為顯著的優勢,而本文模型的AUC 值(0.9581) 對比K-means(0.5191)、LOF(0.4970)、One-Class SVM(0.5128)更是有著及為顯著的優勢。 而在召回率上,本文比效果次優的Isolation Forest 算法領先6.91%,并顯著領先于其他算法。 同樣的,在F-score 上本文模型也以微小的差異領先其他算法。 但由于在極不平衡數據集上識別異常數據時往往代價高昂的特性,本文的準確率稍遜于最優的兩項,有著約千分之二的差距。

同時,為了驗證本模型在極度不平衡數據集中相較其他方法更具優勢,我們選取召回率這一最重要指標作為參考標準,首先采用SMOTE 算法,對原始數據集中的欺詐數據進行了合成少數類過采樣,對比各算法的召回率在數據平衡度較高時的效果;隨后欠采樣欺詐數據,對比各算法的召回率在數據極端不平衡時的效果。 最終各項結果匯總為表6。

表6 不同數據平衡度下各算法/模型召回率結果對比

由上述實驗結果可知,當數據集越不平衡,本文方法優勢越明顯:當數據平衡度為10%時,本文方法較效果次優的Isolation Forest 算法領先5.87%,而這一值在數據偏向極度不平衡時被迅速拉大,在數據平衡度為0.143%時該值為8.02%,在數據平衡度為0.127 時該值為9.30%。 作為目前Kaggle 上信用卡欺詐檢測問題下無監督學習領域的最優模型之一,本文模型在數據異常值檢測上的AUC 值、召回率以及Fscore 相較于傳統數據異常檢測方法具有很大的優勢,這意味著在數據集極不平衡的情況下,本模型依舊可以對數據進行合理的預測,其召回率高的特性很好的契合了數據異常檢測領域中“寧可錯殺一千也不可放過一個”的特性,但同時其對正常數據的誤判率也有著優秀的水準。就其表現來說,本文所提供的模型在數據異常檢測下的無監督領域可以作為一種新思路,具有一定的研究價值。

4 結論

本文針對信用卡欺詐檢測問題,利用VAEGAN 算法優化了目前基于神經網絡的計算模型的訓練過程。 使用Kaggle 中的高維數據集Credit Card Fraud Detection 進行訓練。 模型采用無監督學習的方式,能夠更好地預防從未出現過的新型信用卡欺詐數據,更符合實際情況。 本文中所討論的VAE-GAN 算法,在訓練過程中相較于傳統的變分自編碼器和生成對抗網絡有較大的不同,主要體現在利用訓練后的VAE 型生成器G 能夠有效還原出所輸入的正常數據分布這一特點,有效識別出經過重構映射后分布位置離正常數據較遠的異常數據,改善了由于異常數據過少而導致的過擬合的現象。 同時,本文在信用卡欺詐檢測中采用VAE-GAN 算法所取得的測試效果優于Kaggle 中現存的算法。