融合時間序列特征的群組推薦模型

朱欣娟,熊依倫

(西安工程大學 計算機科學學院/陜西省服裝設計智能化重點實驗室,陜西 西安 710048)

0 引 言

隨著人與人之間的聯系越來越緊密,群體活動的發展逐漸多樣化。在日常生活中,朋友外出就餐、微信讀書等群體活動需要有一個滿意的結果來權衡群組內用戶的差異性?？紤]到群體成員的偏好是復雜和相互沖突的,群組推薦系統通過群組內用戶與項目的交互作用[1]向單個群組推薦項目來最大程度地滿足群體的喜好。如何權衡群組間用戶的差異性并為群組推薦一個滿意的項目,逐漸成為一個具有挑戰性的研究課題[2]。

群組推薦首要步驟是群組識別。依據群組內相似度可分為隨機群組和相似群組。隨機群組中成員隨機聚集在一起,例如餐廳的顧客。隨機分配群組的方式,無法匯聚興趣相似的用戶,無法提升推薦質量。相較于隨機群組,許多學者嘗試使用聚類算法來構建相似群組進行推薦[3]。例如采用K-means聚類[4]、密度峰值聚類[5]或者馬爾可夫聚類[6]完成群組劃分。眾多研究表明,群組內相似度越高,推薦準確率也就越高。

推薦方法是群組推薦系統的重要組成部分,目前應用比較廣泛的就是將個性化推薦算法應用到群組領域,主要思想是將單個群組視為一個用戶并使用傳統協同過濾算法為該群組生成推薦。協同過濾又分為基于內存的協同過濾與基于模型的協同過濾?；谀Ｐ偷膮f同過濾的推薦效果要優于基于內存的協同過濾[3],因此受到廣泛關注?；谥黝}的推薦方法是基于模型的協同過濾的一種,通過群組主題來學習群組成員的個人影響,例如PIT模型[7]?？紤]到群體動態的內在復雜性,群體偏好不能直接建模。因此準確表征用戶偏好是獲得群體偏好的重要步驟,對群體成員之間的交互進行建模至關重要[8]。融合策略作為獲得群組偏好的關鍵部分,分為靜態融合策略與動態融合策略。靜態融合策略提前指定用戶所占比重,忽略群組成員動態性或者經驗的重疊[9],例如專家策略[10]等。動態融合策略使得群組推薦效果更好,例如納什均衡策略、注意力機制等。納什均衡策略將博弈論的思想融入群組偏好融合中,使得推薦效果相較于靜態策略得到提升。李琳等將群組滿意度的問題轉化為求解納什均衡的問題,有效緩解群組用戶之間偏好不一致的問題[11]。目前,越來越多的學者將深度學習的技術應用到群組推薦領域,來獲得更好的推薦性能[12]。例如CAO等提出AGREE(attentive group recommendation)模型來學習群組中每個用戶的影響力權重,以此融合策略匯聚群組偏好,提高群組推薦準確率,但忽略了用戶間交互對群組偏好的影響[13]。SIG(Social-Enhanced Attentive Group Recommendation)模型則利用用戶的社會關注者信息增強個體用戶表征,有助于捕獲用戶個人偏好,較好地解決用戶間交互對群組偏好的影響[14]。GUO等則提出一種社會自我注意網絡來模擬群體成員的投票方案,綜合考慮了群體間的社會影響和動態權重調整,模擬群體的復雜決策過程[15]。JIA等設計了一個成員級超圖卷積網絡來學習群組成員的個人偏好,捕獲用戶與物品之間的跨群體協作關系,以此提高群組推薦準確率[16]。這些深度學習的技術使得群組中用戶影響力權重動態化,充分考慮了群組動態性對于群組決策的影響。

隨著時間的推進,用戶不斷與外界產生交互行為,用戶興趣也隨著時間演化[17]。對于一些時尚化產品或動態性對象,用戶對某一產品的偏好一定程度上反映了群組對某產品的偏好。若用戶偏好無法正確表示,也會影響群組偏好表示,最終導致群組推薦準確率不高。例如某用戶在以往的購物歷史中,更加傾向購買棕色衣服,而在最新的時間段內,此用戶熱衷購買天藍色衣服,隨著時間變化,用戶的興趣逐漸從棕色衣服轉換為天藍色衣服。單個用戶興趣遷移如何影響群組決策是值得研究的問題。目前的群組推薦領域中,此類問題尚未得到較好的解決。有學者嘗試將時間因素[18]融入推薦模型中,例如孫明陽等將群組內用戶偏好與興趣點空間和時間特性等因素進行融合,實現動態興趣點群組推薦,該方法將時間特征局限于某個特定時間段,對各時間段內興趣點進行加權求和[19]。陶永才等利用成員興趣地點隨時間變化這一特征,對成員簽到地點對應時間軌跡進行聚類,形成群組數據集,其主要應用場景為用戶某一天內不同時間點的不同興趣點進行推薦[20]。上述2種方法聚焦于將某天劃分為多個時間段進行考慮,而對于大型數據序列中依存關系無法有效捕獲。因此,群組推薦中如何更好地模擬用戶隨時間演化的偏好遷移,以及如何獲得更加全面的用戶偏好表示[21]及其對群組決策產生的影響是一個重大挑戰。

綜上所述,現有群組推薦系統面臨的問題如下：1)采用預定義策略融合群組成員的個人偏好,群組內成員權重沒有依據實際情況發生變化,無法反映群組決策過程的動態性[22];2)群組推薦系統中并未過多考慮單個用戶隨時間演化興趣偏好遷移過程,無法準確表征用戶偏好。針對上述問題,本文提出一種融合時間序列和注意力機制的群組推薦算法TAGR。模型中使用循環神經網絡GRU(gate recurrent unit)建模用戶興趣隨時間的演化,從時間序列中捕捉用戶興趣遷移過程,通過聚合的方式準確表征用戶的興趣偏好[23]。同時,利用注意力機制融合群組偏好,以動態加權的方式強化組內具有代表性的用戶,利用項目和群組之間的交互信息對群組偏好進行建模。

1 模型概述

1.1 群組形成

群組識別作為群組推薦的首要步驟,分為實際群組和虛擬群組。在很多情況下,需要構建虛擬群組進行推薦。為了獲得高相似度群組,本文采取層次聚類進行虛擬群組的構建。層次聚類算法基于簇間的相似度在不同層次上分析數據,從而形成樹形的聚類結構。其主要思想是將每個樣本歸為一類,計算每兩個類之間的距離,也就是樣本與樣本之間的相似度。再尋找各個類之間最近的兩個類,歸為一類。之后重新計算新生成的這個類與各個舊類之間的相似度,并不斷重復上述步驟,直到所有樣本點歸為一類?？稍O立一個閾值,當最近兩個類的距離大于這個閾值,迭代終止。相似度(D)計算公式為

式中：n為單個群組內用戶的數量;pk和qk分別為數據對象p和q的第k個維度。

1.2 融合時間序列和注意力機制的群組推薦模型

群組偏好來源于群組內用戶的偏好融合。許多融合策略采用預定義策略來聚合成員評分,例如最大值等。預定義策略忽視用戶與項目之間的交互性,沒有充分考慮群體決策的影響因素。在某個群組中,可能某個用戶對商品的影響力較大,該用戶對商品的話語權也就更高,按照預定義策略,無法體現出該用戶的影響力。結合注意力機制的群組推薦很好地解決了上述問題,但在成員偏好中忽略了用戶興趣遷移過程。為解決上述問題,構建了融合時間序列的群組推薦模型TAGR,如圖1所示。

圖 1 TAGR方法結構圖Fig.1 Structure diagram of TAGR method

為了捕捉用戶興趣偏移過程,更好地表征用戶偏好,在輸入層提取每個用戶各時刻的行為,經過嵌入層獲得用戶各時刻行為向量,輸入GRU中。利用GRU獲取每個時刻用戶行為的興趣偏好,并聚合各時刻興趣偏好作為用戶偏好。其次利用注意力機制學習群組內用戶偏好權重,結合用戶偏好得到群組偏好向量。將單個群組看成單個用戶進行個性化推薦,獲取推薦結果。

圖1中,G={U1,U2,…,Un}為群組用戶;et為某個用戶t時刻的行為。為了更好地體現用戶興趣偏好遷移的過程,采用GRU訓練用戶偏好遷移過程,GRU結構如圖2所示。

圖 2 GRU結構圖Fig.2 GRU structure diagram

將用戶瀏覽過的項目按照瀏覽時間做排序,把原始的id類行為序列特征轉換成嵌入行為時間序列。將行為時間序列輸入GRU中,并提取每個時刻下,此用戶行為背后潛藏的興趣狀態。從連續的用戶行為中提取一系列的興趣狀態。其公式為：

zt=σ(etWxz+ht-1Whz+cz)

rt=σ(etWxr+ht-1Whr+cz)

式中：et為GRU的輸入,表示用戶第t時刻行為向量;rt表示第t時刻輸入信息與之前記憶的結合程度;zt表示前一時刻的狀態信息被帶入到當前狀態中的程度;ht為第t時刻隱藏狀態;Wxz、Whz、Wxr、Whr、Wxh、Whh分別為權重矩陣;cz、cr、ch分別為偏置矢量。隱藏狀態ht捕捉行為之間的依賴關系,表示t時刻對于上一時刻有效偏好信息的獲取,無效信息進行遺忘,以此表示t時刻用戶興趣偏好。將每個GRU單元的ht累加作為此用戶偏好xn,即

xn=∑t=0ht

結合注意力機制,獲得此用戶在本項目所占權重,將此權重作為用戶偏好權重,融合用戶偏好作為群組偏好,即

o(j,n)=hTReLU(svij+suxn+b)

式中：sv、su分別為項目嵌入和用戶嵌入轉換到隱藏層的注意力網絡的權重矩陣;b為隱藏層的偏置矢量;ij為當前第i用戶與第j項目的交互編碼,使用ReLU作為激活函數,然后投影到具有權重矢量h的注意力得分o(j,n);n′為群組內用戶下標,最后使用softmax函數對得分進行歸一化。

式中：a(j,n)為群組內所有用戶的注意力權重;tk為第k群組與項目j的交互編碼,以此表示單個群組普遍偏好。gk(j)作為第k群組偏好輸入至推薦模型中。

1.3 基于神經協同過濾的推薦模型

本文選擇神經協同過濾(neural collaborative filtering,NCF)框架對嵌入(項目、組)和交互函數進行端到端學習。NCF是一個用于項目推薦的多層神經網絡框架[24],將用戶嵌入與項目嵌入輸入特定神經網絡中,利用用戶與項目的交互數據訓練模型。

將上文所獲取的群組偏好矢量gi點乘項目j的嵌入矢量,并將其與用戶i和項目j的嵌入矢量進行拼接,即

所得f0將作為隱藏層輸入,使用ReLU函數作為非線性激活函數,即

式中：Wh為隱藏層第h層的權重矩陣;bh為第h層偏置矢量;fh為第h層輸出神經元。最后將最后一層神經元作為預測函數的輸入,即

ylj=WTfh

所得ylj為最終的群組-項目的預測,WT為最后一層權重矩陣。通過上述公式,得到最終預測結果。

1.4 算法復雜度

利用GRU與注意力機制來獲得群組偏好表示。在GRU中,獲取單個用戶偏好表示,其時間復雜度為a(d×v),其中d為單個用戶某時刻項目嵌入維度,v為用戶與項目的交互次數。之后利用注意力機制獲取群組偏好,其時間復雜度為a(d×v×n×t),n代表群組內人員數量,t代表項目數量。

2 實驗結果與分析

2.1 數據集

Goodbook數據集來源于goodreads網站,包含10 000本最受歡迎圖書的6百萬評分數據,從中截取了3 434個用戶的22 279條用戶交互記錄,其中用戶交互記錄按時間順序排列。MovieLens 數據集是由GroupLens項目組制作的公開數據集,包含6 000名用戶對4 000部電影的100萬條評分數據,從中截取了3 380個用戶的42 105條用戶交互記錄,用戶交互記錄按照時間順序排序。數據如表1所示。

表 1 數據集統計信息表

2.2 實驗環境

實驗在Ubuntu18.04操作系統下運行,Pytorch1.9.1 GPU基礎鏡像,GPU計算型GN7/8核/32 GiB/5 Mbps。本文對Goodbook和MovieLens數據集采用層次聚類的方法來進行群組劃分,通過實驗選取相似度閾值為0.3,將單個群組用戶數量為1的群組剔除。并將數據集按照2∶8的比例隨機劃分為測試集與訓練集,每個模型計算5次后取其平均值作為最終實驗結果,模型epochs設置為35。實驗參數[14]如表2所示。

表 2 模型參數設置

2.3 評價指標

本文所使用的評價指標分別是命中率HR(hit ratio,記為HR) 和 歸 一 化 折 扣 累 積 增 益NDCG (normalized discounted cumulative gain,記為NOCG)。公式中HR用來衡量推薦項目的命中率,測量了推薦的準確性,指標數值越大說明效果越好;NoH表示點積數量;TN表示測試項目集合;N為Top-N,表示推薦項目的個數。計算公式為

NDCG用來衡量列表的排序質量,越接近1說明推薦越準確;DCG為折損累計增益,對每一次收益添加一個折損值;IDCG為理想狀態下最大的DCG值。計算公式為

2.4 對比算法(基線模型)

為了評估本算法的性能,將本文算法與NCF[24]、Popularity[25]、AGREE[13]、FastGR[26]等多種方法進行比對,以此驗證算法的有效性。

1) NCF：基于神經網絡的協同過濾,將組視為用戶,作為網絡輸入,從組項歷史數據中學習交互功能。

2) Popularity：根據項目的受歡迎程度向用戶和群組推薦。由于受本數據集的影響,項目的受歡迎程度依據其在訓練集中的交互次數來衡量。

3) AGREE：該模型首次將注意力機制引入群組推薦中,主要依據用戶與項目的歷史交互數據為每個成員動態分配權重。

4) GREE：GREE刪除了AGREE模型中注意力網絡,采用統一權重。

5) NCF+avg：NCF與平均值的結合,將個體的偏好得分平均為組偏好得分。這種方法的假設是每個成員對最終群體決策的貢獻相等。

6) FastGR：一種基于神經協同過濾的群組推薦算法,利用卷積神經網絡提取用戶特征。

實驗效果如表3,在Goodbook數據集上,將本模型TAGR和其他多個模型進行對比實驗?？梢钥闯?當K=5時,TAGR模型相較于Popularity、GREE、AGREE、NCF、NCF+AVG、FastGR,在指標HR上分別提升了16.97%、8.48%、4.70%、8.97%、6.93%、4.04%,在指標NDCG上分別提升了12.47%、7.48%、5.01%、7.16%、5.66%、3.10%。當K=10時,TAGR模型相較于Popularity、GREE、AGREE、NCF、NCF+AVG在指標HR上分別提升了17.33%、5.53%、3.30%、5.89%、4.80%、1.76%,在指標NDCG上分別提升了11.47%、4.36%、3.69%、4.68%、3.92%、2.48%。

表 3 實驗結果表

在MovieLens數據集上,將本模型TAGR和其他多個模型進行對比實驗。當K=5時,TAGR模型相較于Popularity、GREE、AGREE、NCF、NCF+AVG、FastGR在指標HR上分別提升了11.04%、5.50%、4.14%、5.73%、4.52%、1.74%,在指標NDCG上分別提升了8.95%、3.14%、2.34%、3.05%、3.78%、2.29%。當K=10時,TAGR模型相較于Popularity、GREE、AGREE、NCF、NCF+AVG在指標HR上分別提升了10.89%、6.92%、4.87%、5.36%、5.24%、1.38%,在指標NDCG上分別提升了9.91%、4.71%、3.74%、4.96%、4.31%、0.37%。

綜上可知,本文所提出的TAGR模型在HR與NDCG指標上均高于選取的基線算法,提升了群組推薦的準確率。實驗中NCF與NCF+AVG的實驗數據較低,主要原因在于采用靜態策略融合群組成員偏好,忽略了群組用戶對項目的影響力。而AGREE模型采用注意力機制進行成員偏好融合,提升推薦性能,但是忽略了用戶偏好遷移過程,無法準確表征用戶偏好。FastGR模型采取卷積神經網絡優化了模型,提取了用戶特征,但同樣也忽略了用戶偏好遷移過程。本模型TAGR通過時間序列捕捉用戶興趣偏移過程,準確表征用戶偏好,并利用注意力機制對群組成員進行偏好融合,以此獲得準確性更高的群組推薦結果。為了進一步研究模型的有效性,將本文模型TAGR與AGREE模型在Goodbook數據集上進行比較。圖3、4顯示了在最佳參數設置下,TAGR與AGREE在每次訓練迭代中HR與NDCG的變化趨勢。

(a) K=5

圖3(a)、4(a)中可以看出,當K=5時,經過25次迭代后,TAGR模型的HR與NDCG逐漸趨于穩定。圖3(b)、4(b)中可以看出,當K=10時,經過27次迭代后,TAGR模型的HR與NDCG逐漸趨于穩定。說明在Goodbook數據集上,TAGR模型效果比AGREE模型效果更優。證明本模型可以有效捕捉用戶興趣遷移過程,得到更為準確的群組偏好表示,提高了推薦的準確率。

為了驗證時間序列對模型是否有促進作用,本文采取相關消融實驗進行驗證,結果如表4所示。

表 4 消融實驗結果

TAGR-A表示TAGR模型去除注意力機制的方法,此模型在群組內得到每個用戶偏好后,不再使用注意力機制模擬用戶與項目之間的交互。TAGR-T表示在TAGR模型去除時間序列的方法。TAGR-T的實驗數據略優于TAGR-A,主要原因在于TAGR-A中去除注意力機制,群組的偏好融合采用靜態策略,群組的偏好準確性的丟失相較于TAGR-T模型中單個用戶偏好準確性的丟失影響更大。表4數據表明,TAGR模型優于TAGR-A和TAGR-T,驗證了捕獲用戶興趣偏移過程可以更為準確地表征用戶偏好,也證明了注意力機制對于單個群組內用戶的偏好權重起到促進作用。

3 結 語

本文針對傳統的預定義策略過于單一,忽視用戶與項目之間的交互性,同時無法捕捉時間推移所造成的用戶偏好遷移,采用GRU捕捉用戶興趣偏移過程,融合用戶交互記錄作為用戶偏好,更為準確地表征用戶偏好,并結合注意力機制來獲取群組內各用戶對于此項目的偏好占比權重。在此基礎上,采用神經協同過濾算法學習群組與項目交互。實驗驗證本文所提出的模型優于基線模型,提升了群組推薦準確率。但此模型對于用戶社交關系對群組偏好融合的影響尚未考慮。在未來的研究中,會將用戶社交關系融入推薦算法中,進一步提升群組推薦準確率。