基于鄰居交互增強和多頭注意力機制的跨域推薦模型

孫克雷,汪盈盈

(安徽理工大學 計算機科學與工程學院,安徽 淮南 232001)

推薦系統(recommender systems,RS)在當前信息爆炸的時代扮演著關鍵角色,能幫助用戶從海量信息中快速發現符合個人興趣的內容[1-2]。協同過濾(collaborative filtering,CF)作為RS中的經典方法,依賴于用戶-項目交互數據,通過學習用戶和項目的表示來進行推薦[3]。然而,這種基于CF的方法面臨著一個長期存在的挑戰,即用戶冷啟動問題[4]。當涉及新用戶時,由于缺乏足夠的觀察交互數據,導致推薦系統無法準確學習到其個性化的興趣和喜好。

作為一種十分有效的用戶冷啟動問題解決方案,跨域推薦(cross-domain recommendation,CDR)旨在通過利用從其他相關源域收集的用戶-項目交互信息來提高目標域的推薦準確度[5-6]。大多數跨域推薦的方法假設2個域中存在一定數量的重疊用戶來搭建源域和目標域之間的橋梁[7]。只有在源域中有交互的用戶(即非重疊用戶)才可以被視為目標域的冷啟動用戶。Man等[8]提出了跨域推薦的嵌入和映射方法(cross-domain recommendation:an embedding and mapping approach,EMCDR),首先分別利用矩陣分解(matrix factorization,MF)和貝葉斯個性化排名來生成用戶和項目表示,然后假設源域和目標域中用戶之間的偏好關系對所有用戶都是共享的,并學習1個公共的映射函數?；贓MCDR模型的思路,Zhu等[9]提出了一種面向跨域和跨系統的深度推薦框架,學習的映射函數是由目標域到標準域的映射,標準域即通過矩陣稀疏度將源域和目標域融合到一起的特征空間?？紤]到現實場景中重疊用戶往往較少的問題,Kang等[10]提出了基于半監督學習的模型,使用源域的項目數據和重疊用戶數據一起訓練映射函數。但該映射函數偏向于有限的重疊用戶,這降低了模型的泛化能力。然而,由于用戶復雜的個體特征,對所有用戶使用公共映射函數可能會降低CDR的性能。為了克服這一缺點,Zhu等[11]提出了用戶偏好個性化遷移跨域推薦模型(personalized transfer of user preferences for cross-domain recommendation,PTUPCDR),從用戶的歷史交互信息中提取用戶的個體特征,并利用元學習技術為每個用戶學習1個偏好遷移函數,該模型能充分考慮到每個用戶的個性化特征。Di等[12]擴展了PTUPCDR模型,將聯邦學習方法與個性化跨域遷移方法相結合,有效緩解了用戶隱私泄露問題。但這些模型的有效性嚴重依賴于用戶-項目的交互數量,在用戶冷啟動場景中交互數量通常是非常稀缺的。因此,當源域知識相對不足時,如何捕獲豐富的用戶偏好知識對于解決冷啟動問題就顯得尤為重要。

在上述的基于個性化映射的跨域推薦模型中,未充分關注源域中交互稀疏的用戶,可能會降低用戶偏好的遷移效率。此外,這些模型無法有效地從用戶復雜的交互中提取可遷移的偏好。因此,提出一種基于鄰居交互增強和多頭注意力機制的跨域推薦(neighbor interaction enhancement and multi-head attention mechanism based cross-domain recommendation,NMACDR)模型。首先通過利用鄰居的交互項目增強源域中用戶的短序列,從而能夠全面地捕獲用戶的偏好。然后利用多頭注意力機制從交互序列中提取用戶可遷移的偏好特征,并將提取的用戶偏好特征輸入元網絡構建個性化映射函數。NMACDR模型有效地提高了用戶偏好的遷移效率,避免了負遷移問題。

1 問題定義

2 模型設計

NMACDR模型結構如圖1所示。由圖1可知,該模型包含3個主要組件:鄰居交互增強模塊、用戶特征編碼器模塊和個性化特征遷移模塊。1) 鄰居交互增強模塊:利用矩陣分解模型學習源域和目標域中用戶和項目的嵌入。在源域用戶嵌入層,利用局部敏感哈希(locality-sensetive hashing,LSH)算法檢索到具有相似興趣的前k個鄰居用戶,然后將鄰居用戶的交互項目整合到查詢用戶的交互列表中,從而增強了源域用戶的交互序列。2) 用戶特征編碼器模塊:采用多頭注意力機制從增強后的交互序列中提取用戶的可遷移偏好。多頭注意力機制允許模型全面地捕捉用戶興趣的多個方面,使得用戶特征更豐富和更有表現力。3) 個性化特征遷移模塊:利用上一階段提取的用戶可遷移特征作為元網絡的輸入,生成個性化映射函數,并將用戶在源域的嵌入通過個性化映射函數橋接到目標域,以進行項目預測。

圖1 NMACDR模型整體結構Fig.1 The overall structure of the NMACDR model

2.1 鄰居交互增強

通過源域的矩陣分解模型,可以獲得用戶和項目的嵌入表示。用戶向量之間的相似性反映了它們在統計上的共現關系。換句話說,如果2個用戶在對項目的偏好上有高度的重疊,訓練過程將導致這些用戶的嵌入向量高度相似。因此,可以在用戶嵌入層利用最近鄰檢索算法找到具有相似偏好的鄰居用戶。具體而言,最近鄰檢索算法采用了LSH技術,它將高維空間中的向量映射到低維空間,并使用哈希函數進行快速的近似最近鄰搜索。

圖2 鄰居項目填充過程Fig.2 Neighbor item supplementing process

1) 通過式(1)將前k個鄰居用戶的交互項目串聯形成推薦列表。

Su1…k=Fconcat(Su1,Su2…Suk),

(1)

式(1)中,Su1…k為推薦列表,Suk為用戶uk的交互項目列表,Fconcat為串聯操作。

2) 對推薦列表進行一系列的篩選和排序操作:① 刪除查詢用戶已經交互過的項目,以避免重復推薦;② 統計推薦列表中每個項目的出現次數,并按照出現次數進行排序,以便更好地捕捉熱門和受歡迎的項目;③ 從排序后的列表中截取k個連續的項目作為最終的推薦項目列表SNi。

3) 將最終的推薦項目列表與查詢用戶的交互列表串聯,如式(2)所示:

(2)

式(2)中,Z∈Rd×m為增強交互矩陣,其中d表示項目嵌入向量的維度;Sui為用戶ui的交互項目列表,SNi為最終的推薦項目列表;zj表示第j列,也稱為第j個項目的嵌入向量。隨后,可以利用每個重疊用戶的增強交互矩陣Z作為偏好特征來指導個性化映射函數的構建。

2.2 用戶特征編碼器

考慮到不同交互項目對用戶可遷移偏好的重要性差異,采用多頭注意力機制網絡結構來捕捉用戶可遷移偏好。多頭注意力機制可以實現對用戶交互列表中不同維度信息的全面挖掘,通過對不同注意力頭的特征進行融合,模型可以更全面地關注用戶與鄰居之間交互項目在多個維度上的關系,從而提高對用戶可遷移偏好的建模能力。

多頭注意力機制網絡[13]是由h個并行計算的注意力模塊組成的。給定用戶增強交互矩陣Z,通過轉換生成其查詢矩陣Q、鍵矩陣K和值矩陣V,并且隨機初始化權重矩陣Wq、Wk和Wv,具體轉換如下:

Q=WqZ,K=WkZ,V=WvZ。

(3)

通過使用點積運算對查詢矩陣Q和鍵矩陣K進行相似度計算,挖掘出特征之間的相互聯系,捕獲內部依賴關系,如式(4)所示:

(4)

在多頭注意力機制網絡中,不同的注意力頭執行單獨的計算,并將每個注意力頭得到的矩陣拼接起來,再乘以權重矩陣Wo,得到最終多頭注意力表示M,具體可以描述為

(5)

M=Fconcat(H1,H2,…,Hh)Wo,

(6)

將多頭注意力表示與輸入的用戶增強交互矩陣進行殘差連接,并進行層歸一化,有助于信息的傳遞和梯度的穩定性,其公式為

Y=FLN(M+Z),

(7)

式(7)中,Y為層歸一化的結果,層歸一化操作FLN使用LayerNorm實現。在經過殘差連接和層歸一化之后,將得到的隱藏表示作為輸入,通過前饋神經網絡進行非線性變換。前饋神經網絡由2個全連接層和1個激活函數組成,其公式為

Ffnn(Y)=φ(YW1+b1)W2+b2,

(8)

式(8)中,Ffnn(·)為前饋神經網絡,φ為ReLU激活函數,W1和b1為第1個全連接層的權重矩陣和偏置,而W2和b2為第2個全連接層的權重矩陣和偏置,均為可訓練參數。再次將前饋神經網絡的輸出與用戶增強交互矩陣進行殘差連接,并進行層歸一化。這個過程與第1步的殘差連接和層歸一化相似,具體可以描述為

Y′=FLN(Ffnn(Y)+Z)。

(9)

最后將得到序列矩陣Y′平均池化,獲得用戶的可遷移偏好表示向量,其計算公式為

T=FMP(Y′),

(10)

式(10)中,T為用戶的可遷移偏好表示向量,FMP為平均池化操作。

2.3 個性化特征遷移

跨域推薦方法的核心是將源域的知識遷移到目標域中,一種有效的實現方式是訓練映射函數。在理想情況下,這種映射應該是個性化的。由于每個用戶的偏好不同,所以映射函數的參數也應該因用戶而異。模型的用戶個性化特征遷移過程如圖3所示。由圖3可知,采用基于參數生成的元網絡技術,將用戶的可遷移

圖3 用戶個性化特征遷移過程Fig.3 User personalized feature transfer process

偏好特征作為輸入,在源域和目標域的用戶嵌入之間生成個性化的映射函數。元網絡的公式定義如下:

wui=g(Tui;ε),

(11)

式(11)中,wui為元網絡的輸出,Tui為用戶ui的可遷移偏好特征,g(·)是元網絡,ε是元網絡的參數。使用2層前饋神經網絡來表示元網絡,并通過以下公式定義個性化偏好函數:

fui(·;wui),

(12)

式(12)中,fui(·)是個性化映射函數,同樣采用了2層前饋神經網絡的結構。為了適應個性化映射函數參數的大小,將向量wui∈Rk2重塑為矩陣wui∈Rk×k。映射函數的參數wui根據用戶偏好而變化,從而實現用戶嵌入的個性化映射。

給定目標域上的冷啟動用戶,其在源域上的嵌入通過個性化映射函數橋接到目標域,公式定義如下:

(13)

在個性化特征遷移之后,將轉換后的用戶嵌入和目標域的項目嵌入進行內積計算,可以生成冷啟動用戶的預測,計算公式如下:

(14)

3 實驗及分析

3.1 實驗設置

3.1.1 數據集 實驗采用了亞馬遜數據集[11]和豆瓣數據集[14]。亞馬遜數據集是1個包含了數百萬個商品信息的綜合數據集,涵蓋了多個領域。實驗從中挑選出4個領域,分別為視頻、玩具、運動和服裝。根據所選領域定義2個跨域場景,分別為場景1(視頻→玩具)和場景2(運動→服裝)。豆瓣數據集是從豆瓣網站獲取的數據集,它包含了豐富的電影、圖書和音樂信息。根據這3個領域定義2個跨域場景,分別為場景3(電影→圖書)和場景4(電影→音樂),詳細數據集統計信息如表1所示。由表1可知,2個數據集都表現出較高的數據稀疏度,而在場景1和場景2中,這一問題相較于場景3和場景4則更加顯著。

表1 數據集統計信息Tab.1 Statistics of dataset

3.1.2 評價指標 與現有研究[15-16]保持一致,實驗采用平均絕對誤差(mean absolute error,MAE)和均方根誤差(root mean squared error,RMSE)2個評價指標,公式定義如下:

(15)

(16)

3.1.3 基線模型 NMACDR模型與以下4個經典的跨域推薦模型進行性能的比較。1) 基本矩陣分解(basic matrix factorization,BasicMF)模型:直接使用目標域的數據進行矩陣分解操作。2) 集體矩陣分解(collective matrix factorization,CMF)模型[17]:該模型將2個域的評分矩陣集體分解為用戶表示和項目表示,并約束用戶表示在不同領域之間共享。3) EMCDR模型[8]:該模型首先應用MF分別生成源域和目標域的用戶和項目表示,然后基于多層感知機學習映射函數,將源域的用戶表示映射到目標域。4)PTUPCDR模型[11]:該模型利用元網絡構建個性化偏好橋,從而實現用戶偏好的個性化遷移,是目前最先進的基于映射的跨域推薦模型。

3.2 對比實驗

所提出的NMACDR模型和其他基線模型的性能對比結果如表2所示。由表2可知,NMACDR模型在所有的跨域場景中均優于基線模型。

表2 NMACDR與其他模型的性能對比Tab.2 Performance comparison of NMACDR with other models

通過進一步分析,可得出以下結論:1) BasicMF模型是單域推薦模型,僅使用目標域的數據進行訓練,而其他基線模型則是跨域推薦模型,可以利用源域的數據。顯然,BasicMF模型在所有評估中表現最差。在數據稀疏的情況下,僅使用單個域的數據為冷啟動用戶推薦項目是不夠的。因此,利用來自源域的信息可以緩解數據稀疏和冷啟動問題。2) NMACDR模型優于基于公共映射函數的CMF和EMCDR模型,表明個性化遷移策略在用戶偏好的遷移中是有效的。3) PTUPCDR模型最接近所提出的NMACDR模型。然而,NMACDR模型在MAE和RMSE指標上都優于PTUPCDR模型。具體而言,在場景1中,MAE指標提高了2.86%,RMSE指標提高了2.90%;在場景3中,性能提升最為顯著,MAE指標提高了6.54%,RMSE指標提高了3.73%;在場景2和場景4中,也呈現出顯著的提高。這是因為PTUPCDR模型沒有關注源域中數據稀疏的用戶,無法從用戶的交互歷史記錄中更全面地捕獲用戶偏好,從而導致遷移效果較差。所提出的鄰居交互增強模塊和用戶特征編碼器模塊可以有效彌補這一不足。

3.3 消融實驗

在4個跨域場景上對模型進行消融實驗,驗證所提出的鄰居交互增強模塊和用戶特征編碼器模塊的有效性。實驗結果如圖4和圖5所示,其中w/o NIE(without neighbor interaction enhancement)表示移除所提出的鄰居交互增強模塊,即不考慮鄰居用戶的交互項目;w/o MHA(without multi-head attention)表示移除所提出的用戶特征編碼器模塊。由圖4和圖5可知,NMACDR在每個跨域場景下都比w/o MHA取得更好的推薦結果,這表明所提出的用戶特征編碼器模塊在提取用戶可轉移偏好特征方面的重要性。此外,NMACDR的性能在每個跨域場景下都優于w/o NIE,這表明增強鄰居交互行為的有效性。從這個結果來看,在NMACDR模型中添加鄰居交互增強模塊有助于捕獲更多用戶偏好,從而提高大多數跨域場景下的推薦準確性?？傮w而言,這些實驗結果證明了所提出的2個組件對用戶偏好遷移的積極影響及其在增強目標域性能方面的有效性。

(a) MAE評價指標下的模型效果 (b) RMSE評價指標下的模型效果圖4 亞馬遜數據集上消融實驗結果Fig.4 The results of the ablation experiment on the Amazon dataset

(a) MAE評價指標下的模型效果 (b) RMSE評價指標下的模型效果圖5 豆瓣數據集上消融實驗結果Fig.5 The results of the ablation experiment on the Douban dataset

3.4 超參數敏感性分析

鄰居交互增強模塊可以解決源域數據稀疏性的問題。為了探究用戶序列增強的長度對模型推薦準確性的影響,實驗測試了模型在不同序列長度下的推薦性能。由于亞馬遜數據集和豆瓣數據集具有不同的數據分布,因此在亞馬遜數據集中,跨域場景的序列長度被設置為10、20、30、40、50、60、70個;而在豆瓣數據集中,跨域場景的序列長度則被設置為20、40、60、80、100個?？傮w的實驗結果如圖6和圖7所示。實驗結果表明,m的最優值因跨域場景而異,這歸因于不同跨域場景的數據分布差異。由圖6可知,對于場景1,當序列長度為30個時,MAE達到最小值,NMACDR取得最佳推薦性能;當序列長度為60個時,RMSE達到最小值,NMACDR取得最好的結果。對于場景2,當序列長度為20個時,MAE和RMSE達到最小值,NMACDR取得最好的結果。由圖7可知,對于場景3和場景4,當序列長度為60個時,MAE和RMSE達到最小值,NMACDR取得最佳推薦性能。然而,當序列長度大于60個時,NMACDR的推薦準確性逐漸下降,可能是因為鄰居交互信息過度補充導致噪聲的引入?？傮w而言,不同超參數設置對模型性能的影響相對較小,表明NMACDR模型對超參數設置具有魯棒性。

(a) MAE評價指標下的模型效果 (b) RMSE評價指標下的模型效果圖6 亞馬遜數據集上序列長度對模型性能的影響Fig.6 The effect of sequence length on model performance on the Amazon dataset

(a) MAE評價指標下的模型效果 (b) RMSE評價指標下的模型效果圖7 豆瓣數據集上序列長度對模型性能的影響Fig.7 The effect of sequence length on model performance on the Douban dataset

4 結論

提出了一種基于鄰居交互增強和多頭注意力機制的跨域推薦模型NMACDR,該模型可以更全面地捕獲用戶的可遷移偏好,并提高目標域的推薦準確性。與以往僅利用用戶歷史交互信息來學習個性化映射函數的模型不同,NMACDR能夠探索鄰居用戶的交互信息,還能利用多頭注意力機制和元網絡構建個性化橋梁,從而可以跨域遷移每個用戶的個性化偏好特征。實驗結果表明,NMACDR在4個跨域場景上相較于最優的基線模型,MAE指標最高提升了6.54%,RMSE指標最高提升了3.73%,可以為冷啟動用戶提供更準確以及個性化的推薦服務。在現實跨域場景中,2個領域中的重疊用戶數量有限。今后會將模型擴展到更為復雜的跨域場景,涉及2個領域中不重疊的用戶。