融合電影流行性與觀影時間的協同過濾算法

錢澤俊，劉潤然

(杭州師范大學 阿里巴巴商學院，浙江 杭州 311121)

0 引言

推薦系統[1]是人們借助計算機系統的高計算能力，為解決用戶在面對信息過載時獲取有效信息的效率低下問題而設計的輔助系統，其準確性極大程度上依賴于所采用的推薦策略。

在推薦系統的眾多策略中，“協同過濾”是其中廣泛使用的一種策略[2]，它以用戶的興趣偏好作為推薦依據，并假設每個用戶未來的行為更有可能與該用戶過去的行為類似。因此，以協同過濾策略為基礎的推薦系統，會基于與目標用戶相似的其他用戶對一些物品的評價來向目標用戶推薦物品[3]，具有良好的可解釋性。

協同過濾策略的關鍵步驟是計算用戶間的相似度，但由于傳統的相似度算法很容易受到冷啟動、數據稀疏性、時間衰變等問題的影響[4]，因此許多研究人員對此進行改進并提出了一些新的相似性度量算法。

在研究物品的權值計算方面，Leskovec[5]等人對Pearson相關系數算法的改進考慮到評價的分布具有長尾特征，即隨著時間的流逝，部分受歡迎的物品將會得到更多用戶的評價，而一些不受歡迎的物品，它們得到的評價數量則一直非常有限?？傮w而言，該研究認為只擁有少量評價的物品對用戶間相似度的影響遠遠大于具有大量評價的物品。在長尾分布思想的影響下，Weng[6]等人提出PCCIUF算法，使用對數函數為物品的權重賦值；Ricci[7]等人在FPC算法中也運用了同樣的思想。不同的是，Zhang[8]等人在weighted PCC算法中采用指數函數來應對長尾分布效應。而AL-Bakri[9]等人則結合了長尾分布思想對CPCC算法進行改進，提出了modified CPCC算法。

在研究用戶興趣隨時間變化方面，張維[10]使用時間窗口這一研究手段對用戶興趣的變化進行捕捉，并通過加權的方式參與相似度的計算過程。姜書浩[11]等人則使用聚類這一研究方法對用戶的評分信息按類別及時間的遠近進行權重賦值，同時也考慮到部分用戶會通過打低分的方式來表示對該類別不感興趣。而Zhang[12]等人以艾賓浩斯遺忘曲線理論為依據，認為如果用戶對某個物品具有濃厚的興趣，那么該用戶對該物品的遺忘速率將會慢于那些不感興趣的物品。

雖然以上算法在一定程度上擴大了相似性比較的維度，并在一定程度上提高了推薦效果，但由于忽略了作為選擇主體的“人”與被選擇的“物”之間存在的自然聯系，因此采用人為標定的方式對一些閾值進行設定[13]，這不利于在不同數據環境下的通用性，同時聚類與時間窗口等方式的計算步驟較為繁雜，導致計算量的增加較為明顯，在一定程度上降低了算法效率。

本文首先從電影流行度的計算方式這一角度出發，探究人與電影之間自然存在的影響關系，提出了基于自洽邏輯的電影流行度權值計算方式；其次從觀影時間數據的利用方式這一角度出發，通過用戶間觀影時間順序的一致程度來衡量用戶之間的相對興趣偏移程度，該方法所涉及的計算步驟較為簡潔，因此相對而言增加的計算量較少；最后使用上述這兩個部分的研究內容對余弦相似度算法進行改進。

在Netflix Prize和豆瓣兩個數據集上的實驗結果表明，本文所提出的相似性度量方法對電影推薦系統準確率的提升有一定幫助。

1 相關工作

1.1 對物品權重計算方式的研究

推薦系統中人們對物品評價的分布具有長尾分布特性[14](Long-tail)，即隨著時間的推移，越受歡迎的物品獲得的評價數量將變得越多，而越不受歡迎的物品獲得的評價數量則基本維持不變，因此不受歡迎的物品常常被人們所忽視。長尾分布特性的發現，讓人們意識到不同物品對用戶間相似性度量的貢獻有可能不同。人們通過對長尾分布特性的發掘研究，提出了幾種較為有效的物品權值計算方式。

(1)受歡迎程度與貢獻度呈負相關

部分學者認為應該降低受歡迎物品在相似度計算過程中的貢獻程度[6]，原因是由于受歡迎的物品無法體現用戶的獨特偏好，同時由于不受歡迎的物品只被極少數的用戶所選擇，在某種程度上可以體現用戶的獨特偏好，因此應當提高不受歡迎的物品在相似度計算過程中的貢獻程度。

在該思想的指導下，研究人員先后提出了包括FPC算法、PCCIUF算法、modified CPCC算法在內的一系列相似度算法。

以FPC算法中的權值計算方式為例，設Uall為所有用戶的集合，Ui為對物品i進行評價的用戶集合，則物品i的權值計算如式(1)所示：

(1)

(2)分類討論受歡迎程度與貢獻度的關系

有學者分類討論了受歡迎程度與貢獻度之間的關系[8]，認為應當降低最受歡迎與最不受歡迎的物品在相似度計算過程中的貢獻度，并提高二者之間的物品的貢獻度，因此提出了weighted PCC算法。

以該算法中的權值計算方式為例，設Ui為對物品i進行評價的用戶集合，則對于物品i的權值計算如式(2)所示：

(2)

然而，以上這些計算方式簡單地通過物品被選擇的次數來對其權值進行計算，而忽略了“人”與“物”之間的相互影響關系，即同一個物品對不同的人可能有著不同的意義，以及同一個人對不同的物品也可能有著不同的影響。

因此，在對電影受歡迎程度的度量方法中，本文考慮了用戶與電影之間的相互影響關系，并以此提出了用于計算電影權值的電影流行度權值計算公式。

1.2 對用戶興趣轉變的研究方法

用戶興趣的改變也是在相似度計算時需要考慮的一個重要因素[15]。對于該問題，有以下幾種研究方法。

(1)基于時間窗口[16]的研究方法

使用時間窗口進行研究的基本步驟如圖1所示，在將用戶的歷史評價信息按時間順序排列完成后，設定一個時間長度作為時間窗口的長度，接著將該時間窗口按某一固定時長向后進行遞進掃描，然后對相鄰窗口的歷史評價信息進行數據處理與對比分析。

圖1 時間窗口分析法

(2)基于聚類分析[17]的研究方法

采用聚類分析的方法進行研究時，首先需要將用戶的歷史評論數據按類別進行分類，然后對每個分類均進行時間段的劃分，之后根據自行設定的比較邏輯對每個類別的各個相鄰時間段依次進行計算，最后根據計算結果分析用戶偏好的改變情況。

(3)基于艾賓浩斯遺忘曲線理論的研究方法

艾賓浩斯遺忘曲線是19世紀德國心理學家赫爾曼·艾賓浩斯提出的用于描述人類在學習過程中對于新知識的遺忘規律[18]，如圖2所示，對于新知識，人們通常在初期遺忘得較快，之后的記憶量趨于平穩。

圖2 艾賓浩斯遺忘曲線

Li[19]等人以艾賓浩斯遺忘曲線理論為依據劃分時間窗口，為不同窗口中的物品分配不同的權值。Qi[20]等人將艾賓浩斯遺忘曲線理論與長尾分布效應相結合，提出了效果較好的相似度計算方法。

然而，以上這些計算方式不僅需要人為地設定多個基準參數，并且計算量也將大幅增加。

本文認為，電影觀看順序能夠在一定程度上體現用戶興趣的變化，因此可以通過觀影時間順序的一致程度來度量用戶間喜好隨時間而發生偏移的程度。

2 基于電影流行性度量與觀影時間的相似度算法研究

2.1 基于自洽邏輯的電影流行度權值計算方法

Tacchella[21]等人在研究國家適應度與產品復雜性時，發現二者間可能具有一定的相互影響關系。該研究認為，對于c國的適應度Fc而言，其與該國出口產品的總和呈一定的比例關系，同時根據產品復雜性Qp進行加權，而對于產品p的復雜性Qp而言，其與出口該產品的國家數量呈反比關系，同時國家的適應度Fc越高，對產品復雜性Qp的貢獻應當越低。以此思路，該研究建立了一個關于Fc與Qp的迭代模型，并發現在經過一定次數的迭代后，Fc和Qp最終會處于一個與初始值無關的穩定狀態。

受此啟發，本文認為用戶和電影之間也可能存在一定的相互支配并能夠自洽的邏輯。在此，本文提出了用戶的獨特性和電影流行性這兩個指標來挖掘用戶和電影更為深層次的內在屬性，從而優化電影之間相似性度量的方法。假定用戶的獨特性一定程度上反映了用戶的挑剔程度，而電影的流行性則反映了電影內在品質。用戶在選擇電影時受自身挑剔程度的影響，而各個電影的內在品質也會反過來在一定程度上體現出選擇它們的用戶的挑剔程度。

2.1.1 自洽的用戶獨特性與電影流行性

本文將用戶自身的挑剔屬性定義為“用戶獨特性(Specificity)”，以Su作為用戶u的獨特性度量指標，以S作為用戶獨特度集合的簡稱；同時采用“電影流行性(Popularity)”來表征電影的內在品質，以Pi作為電影i的流行性度量指標，以P作為電影流行度集合的簡稱。

電影流行性會受到用戶獨特性的影響，用戶獨特性也會反過來受到電影流行性的佐證，兩者因此能夠達成一定的平衡，而隨著時間推移，用戶與電影之間的關聯結構不斷發生變化，在不同時段中各個用戶的獨特性與各部電影的流行性也會重新達到平衡。

電影的流行性與選擇它的人數密切相關，獲得更多用戶選擇的電影相對而言擁有更高的流行性，同時獨特性相對較高的用戶對電影流行性的貢獻相對較低，這是由于他們有著相對更為嚴苛的電影評價標準，而由于獨特性相對較低的用戶有著更接近大眾的評價方式，因此他們對電影流行性的貢獻相對更高。

同時，用戶獨特性的表征也會受到電影流行性影響，獨特性較高的用戶有著更挑剔的眼光和更高的電影鑒賞能力，他們所選擇的電影往往會具有較高的品質，因此挑剔性強的用戶所選擇的電影也往往會更為流行。

設Ui為最早到之后某時刻內選擇電影i的用戶集合，電影i在該時刻下的流行度Pi受到在該時段內選擇該電影的各個用戶的獨特性Su共同影響，計算方式如式(3)所示：

(3)

設Iu為用戶u從最早到之后某時刻內所選擇的電影集合，那么用戶u在該時刻下的獨特度Su受該用戶在該時段內所選擇的各個電影的流行性Pi共同影響，計算方式如式(4)所示：

(4)

2.1.2 電影流行度權值計算公式

在某時刻下，本文賦予各用戶相同的初始獨特度，然后根據用戶對電影的選擇關系，計算該時刻下所有電影的流行度，接著根據計算所得的電影流行度集合再次計算用戶的獨特度，然后根據計算得出的用戶獨特度集合繼續計算電影的流行度，此后繼續重復上述計算過程，不斷地進行迭代，直至達到平衡。

基于豆瓣K5數據集研究發現，在經過一定次數的相互迭代后，電影流行度Pi與用戶獨特度Su最終會在一定范圍內發生穩定且有規律的振蕩變化，而在對其后每次的迭代結果研究后發現，每部電影的流行度Pi與每位用戶的獨特度Su的數值與其各自集合的平均值最終會保持一個固定的比值。

(5)

(6)

如圖3所示，在對電影流行度比值集合的研究中發現，電影流行度比值的分布非常不均勻，主要集中在縱軸的底部，這也印證了在現實場景中冷門電影占據電影總量的絕大部分。

圖3 各電影流行度比值分布圖

然而，如果直接將大量集中的電影流行度比值作為電影流行度權重，可能會導致大量電影在相似度計算中的貢獻度相近，因此需要對電影流行度比值進行適當調整，以減弱個別極大值的影響與擴大冷門電影之間的差異性。

在嘗試了多種處理方法后，本文構建了電影流行度權值(Movie Popularity Weight，MPW)用以表征電影項目權值，計算公式如式(7)所示：

(7)

如圖4所示，MPW計算公式可以擴大大量集中在[0，5]值域范圍內的電影流行度比值的差異性，同時也相對減弱了電影流行度比值中的極大值影響。

圖4 MPW計算公式函數圖

如圖5所示，在使用MPW計算公式對電影流行度比值集合進行調整后，電影的流行度權值能夠較為均勻地分布在一定的值域內，基本滿足期望。

圖5 MPW計算公式處理后的值分布圖

2.1.3 MPWCosine相似度算法

設Iu與Iv分別為用戶u與用戶v的評價電影集，Ru，i與Rv，i分別為用戶u與用戶v對電影i的評分，使用MPW計算公式對余弦相似度算法進行改進，得到MPWCosine相似度算法，如式(8)所示：

MPWCosineu，v=

(8)

其中，指數α用于控制電影流行度權重影響因素在相似度計算過程中的參與程度，且當α=0時，該相似度算法等價于余弦相似度算法。

2.2 基于觀影時間順序因素的一致性度量方法

2.2.1 觀影順序一致性理論

本文認為兩位用戶對共同評價電影的觀看時間順序也會影響彼此之間的相似度，這是由于用戶的喜好會隨著時間的流逝而發生變化，而喜好的變化會體現在對不同特征電影的觀看順序上。

對于兩位用戶來說，如果他們的觀影順序擁有較高的一致度，那么可以認為即使時間推移，兩位用戶的喜好仍然存在較高的相似情況；而如果兩位用戶觀影順序的一致程度較低，則可以認為這兩位用戶的喜好隨著時間的推移而發生了偏差，這個偏差可能一直存在，也有可能現在正在發生。

因此本文提出觀影順序一致性理論，認為在對用戶進行相似度計算時，兩位用戶對共同評價電影的觀看順序的一致度能在一定程度上反映出該二人的興趣喜好隨著時間的流逝而發生的偏移程度。一致度越高則說明兩位用戶的喜好偏移程度越低，反之則說明兩位用戶的喜好偏移程度較高。

2.2.2 觀影順序一致性度量公式

以肯德爾相關系數理論[22]為基礎，在僅考慮一致對這一積極因素的前提下，本文提出了SCK(Single Consistency Kendall)度量公式，用以度量兩位用戶間某方面的一致性，如式(9)所示：

(9)

其中，c與d代表一致對的數量與非一致對的數量。

觀影順序一致性因素作為拓展因素，其通過對兩位用戶進行整體上的衡量來發揮作用，故SCK度量公式與任一相似度算法Simu，v的形式結合如式(10)所示：

SCKSimu，v=Simu，vSCKu，v

(10)

如圖6所示，基于豆瓣K5數據集，使用SCK度量公式對用戶之間觀影順序的一致度進行計算，發現所得的原始一致度值(下稱原始值)的分布范圍較廣。

圖6 原始一致度值與數量分布情況

由于觀影順序一致性因素作為對現有相似性計算公式的拓展，它需要與相似性計算公式進行配合才能夠更好地發揮作用，因此如果直接使用原始值參與相似度計算，則其較大的分布范圍會在部分情況下造成極大的數值差距，使觀影順序一致性因素在相似度計算中成為決定性因素，影響與之配合的相似性計算公式的作用發揮。因此，本文希望能夠對原始值進行適當的調整，縮小其值的差異性及分布范圍，以平衡原始一致度值的差異性與一致性因素的決定性。

在余弦相似度算法的配合下，使用數個調整方式進行對比后，本文提出了用戶之間觀影順序一致性(Consistency in Viewing Sequence，CVS)度量公式，如式(11)所示：

(11)

如圖7所示，經由CVS度量公式計算后，觀影順序一致度值的分布范圍相比較于原始值的分布范圍有所縮小，并且兩者的數量分布形態也較為相似。

圖7 收斂后的一致度值與數量分布情況

2.2.3 MCC相似性度量公式

由于觀影順序一致性度量公式是對兩位用戶整體發揮作用，因此，在使用觀影順序一致性度量公式對MPWCosine相似度算法進行整體改進后，得到的MCC(MPWCosine-CVS)相似性度量公式如式(12)所示：

MCCu，v=MPWCosineu，vCVSu，vβ

(12)

其中指數β用于控制觀影順序一致性影響因素在相似度計算過程中的參與程度，且當β=0時，該相似度算法等價于MPWCosine相似度算法。

3 實驗及分析

3.1 實驗環境

硬件方面，本文實驗所使用的計算機處理器規格為Intel(R) Core(TM) i7-11800H @ 2.30 GHz，內存容量為32 GB，顯卡規格為NVIDIA GeForce RTX 3070 Laptop，專用顯存容量為8 GB。

軟件方面，操作系統使用Windows 10 22H2版本，編程語言為Java，開發軟件使用IntelliJ IDEA Ultimate 2023.1.1版本，JDK版本為1.8，數據庫管理系統使用MySQL 8.0，緩存使用Redis 3.1.0-windows版本。

3.2 數據集

本文除了使用Netflix Prize數據集進行實驗外，在不影響網站正常運行的前提下，自行從豆瓣網電影頻道(https：//movie.douban.com)以用戶為單位收集已公開的評論數據，以此構建新的數據集。

(1)Netflix Prize數據集

Netflix Prize數據集中擁有約48萬名用戶對超過1.7萬部電影的約1億條評價數據，但由于受到實驗設備性能的限制，無法直接使用龐大的Netflix Prize數據集進行實驗，因此對其以用戶為單位進行隨機篩選。

本文將篩選出的數據集命名為Netflix Prize-5K數據集，它與Netflix Prize數據集的結構信息如表1所示。

表1 不同體積的Netflix Prize數據集結構表

Netflix Prize-5K數據集中評論時間跨度及用戶數量分布情況如圖8所示。

圖8 Netflix Prize-5K數據集評論時間跨度及用戶數量分布圖

(2)自行構建的豆瓣K5數據集

本文從豆瓣網電影頻道對電影數據、用戶數據及評論數據進行了較為系統的收集，并且通過數據清洗及條件篩選，對原始數據集進行精簡并得到了如表2所示的三個擁有不同數據量的數據集。

表2 不同體積的自構數據集結構表

在對研究需求與實驗效率這兩方面的因素進行綜合考慮后，本文決定采用K5數據集作為實驗用途數據集，同時也將其作為在研究過程中使用的主要數據集。

K5數據集中評論時間跨度及用戶數量分布情況如圖9所示。

圖9 K5數據集評論時間跨度及用戶數量分布圖

3.3 評價指標

在本文的實驗中，主要采用平均絕對誤差(Mean Absolute Error，MAE)與均方根誤差(Root Mean Square Error，RMSE)[23]來衡量用戶的預測值與真實值之間的偏差程度。

(13)

(14)

3.4 實驗設計與結果

在本文實驗中，訓練集的占比為80%，測試集的占比為20%，采用交叉驗證的方式，每項實驗均進行五輪，并且在實驗的過程中，均采用kNN(k-Nearest Neighbor)算法[24]來尋找與目標用戶最為相似的k名用戶。

(1)實驗1：MPWCosine相似度算法中不同α值的影響

將參數α以1的步長從0提升至10，然后在Netflix Prize-5K與K5數據集上分別進行實驗，計算MPWCosine相似度算法在不同k-Neighbor值(k值)下的RMSE指標。

在Netflix Prize-5K數據集上的實驗結果如圖10所示。圖10顯示，在各個k值下，MPWCosine相似度算法的RMSE指標在α值從0提升至1的過程中下降幅度較為明顯，其后便逐漸保持平穩，此時在總體上優于余弦相似度算法(α=0)，而當α>2后，RMSE指標出現回彈。

圖10 Netflix Prize-5K數據集上各k值下不同α值的影響

在Netflix Prize-5K數據集上，當α=2時，MPWCosine相似度算法與余弦相似度算法在各k值下的對比如圖11所示。

圖11 Netflix Prize-5K數據集上不同α下的RMSE對比圖

在K5數據集上的實驗結果如圖12所示。

圖12 K5數據集上各k值下不同α值的影響

圖12顯示，在各個k值下，MPWCosine相似度算法的RMSE指標在α值從0提升至6的過程中下降幅度較為明顯，其后便逐漸保持平穩，在總體上優于余弦相似度算法(α=0)。

在K5數據集上，當α=10時，MPWCosine相似度算法與余弦相似度算法在各k值下的對比如圖13所示。

圖13 K5數據集上不同α下的RMSE對比圖

以上實驗結果說明了當MPWCosine相似度算法中的參數α處于1～10的值域范圍內時，存在一定的α取值使得MPWCosine相似度算法的推薦精度相比較于余弦相似度算法，有較為明顯的提升。

(2)實驗2：MCC相似性度量公式中不同α與β值的影響

在不同k值下，將參數α以1的步長從0提升至10，將參數β以0.5的步長從0提升至5，然后在Netflix Prize-5K與K5數據集上分別進行實驗，計算MCC相似性度量公式在不同的參數組合下的RMSE指標與MAE指標，最后與FPC相似度算法、weighted PCC相似度算法進行比較。

在Netflix Prize-5K數據集上的實驗結果如圖14所示，其中圖(a)為k=50時的實驗結果，圖(b)為k=100時的實驗結果。

圖14 Netflix Prize-5K數據集上不同k值下不同α與β值的影響

在Netflix Prize-5K數據集上的實驗結果顯示，隨著β值的提升，MCC相似性度量公式的RMSE指標總體呈現出一種先下降后上升的態勢，最佳的參數值區間約為[0.2，0.8]，而α值在其中的影響規律與實驗1相似，總體相較于MPWCosine相似度算法(β=0)有著一定的提升，同時相較于余弦相似度算法(α=0且β=0)也有著一定的提升。

在Netflix Prize-5K數據集上，當α=2且β=0.3時，MCC相似性度量公式與FPC相似度算法、weighted PCC相似度算法在不同k值下的比較結果如圖15所示，其中圖(a)為RMSE指標，圖(b)為MAE指標。

圖15 Netflix Prize-5K數據集上多種相似度算法比較

在K5數據集上的實驗結果如圖16所示，其中圖(a)為k=50時的實驗結果，圖(b)為k=100時的實驗結果。

圖16 K5數據集上不同k值下不同α與β值的影響

在K5數據集上的實驗結果顯示，隨著β值的提升，MCC相似性度量公式的RMSE指標總體也呈現出一種先下降后上升的態勢，最佳的參數值區間約為[1.5，2.0]，而α值在其中的影響規律也與實驗1相似，總體相較于MPWCosine相似度算法(β=0)有著一定的提升，同時相較于余弦相似度算法(α=0且β=0)也有著一定的提升。

在K5數據集上，當α=10且β=1.5時，MCC相似性度量公式與FPC相似度算法、weighted PCC相似度算法在不同k值下的比較結果如圖17所示。

圖17 實驗2中K5數據集上多種相似度算法比較

以上實驗結果說明了MCC相似性度量公式相較于其他改進型相似度算法，在推薦精度上有較為明顯的提升。

4 結束語

本文首先從電影流行性計算方式這一角度出發，針對用戶與電影之間的相互影響關系進行了深入研究，闡述了“用戶獨特性”與“電影流行性”之間存在的自洽邏輯，構建了用于描述兩者間相互影響方式的數學表達式，并在該表達式的基礎上提出了電影流行度權值計算公式。接著，通過探究用戶之間的觀影時間順序一致性與興趣轉變之間的關系，提出了觀影順序的一致程度能夠在一定程度上體現用戶間相對興趣轉變程度的觀點，并在此基礎上構建了觀影順序一致性度量公式。最后，根據以上研究內容對余弦相似度算法進行了改進并設計了多個對比實驗。實驗結果表明，本文的研究成果能夠有效地提高推薦系統的準確度，具有非常重要的現實意義與應用價值。

本文雖然提出了一些可以提高推薦系統準確度的新思路，但仍然存在一些不足之處，這些不足之處可以成為今后的研究內容：

(1)對電影流行度權值計算方法的改進可以考慮將用戶與電影間存在的自洽邏輯與時序因素相結合，探究用戶評價信息中存在的觀影時序信息對權值計算的影響，從而對當前的權值計算方法進行改進。

(2)對觀影順序一致性度量方法的改進可以考慮從時間的遠近角度對“一致對”進行加權，提高近期的電影觀看行為在相似度計算時的貢獻度，也可以考慮從喜好穩定程度的角度入手，在一致性計算中考慮喜好穩定性這一因素。