基于spark平臺的跨境電商產品混合式協同推薦

李佳穎,劉 靜

(1.廣州南洋理工職業學院 經濟管理學院,廣東 廣州 510900;2.喀什大學 計算機科學與技術學院,新疆 喀什 844000)

跨境電商作為進出口貿易的重要組成部分,該行業的持續發展直接影響我國整體經濟增速。[1]近年來,關于跨境電商產品采購預測、用戶分析、產品推薦等成為研究熱點,跨境電商產品推薦作為促進跨境電商產業高效發展的重要手段,在跨境電商研究中占據重要地位。[2]跨境電商平臺由于用戶文化差異、語言文本多樣化、用戶需求變化速度快等特點,要實現電商產品的高效精準推薦單靠一種策略很難完成,混合式協同推薦具備更穩定的電商產品推薦性能。[3]

當前,關于電商產品推薦的研究較多,楊單等借助大數據分析技術進行用戶和商品的特征分析,以找到用戶和商品特征,從而為用戶定制化推薦產品;[4]張瑾等將異質圖運用于用戶和產品的關聯分析,挖掘兩者共有特征然后實現產品推薦,兩者均采用單一策略對跨境電商產品推薦,其推薦性能均有一定提升空間。[5]本文將LFM與K-means算法結合,實現混合式協同推薦,有效提升推薦準確度,并借助Spark運算優勢,保證混合式系統推薦的高效執行。

1 電商產品的混合式系統推薦

1.1 電商產品推薦

電商產品推薦的實質是找到用戶和商品屬性的內在相似度,根據用戶和商品多維特征間的差異,搜索與用戶特征差異較小的商品,并推薦給用戶。

在電商產品推薦過程中,有兩個因素直接影響推薦的精準度,一方面,參與比較的用戶和商品特征,另一方面,特征比較算法。根據跨境電商平臺的用戶瀏覽及購買歷史,得到用戶和商品次數矩陣,通過矩陣可以為用戶推薦曾經購買過的歷史產品。但若要為用戶推薦新產品,還需要根據用戶和商品的特征差異值,設參與特征對比的組數為N,每組特征差異函數為Si,則商品推薦的優化函數為：

(1)

式(1)中ωi為權重。根據商品推薦優化函數,采用合適算法不斷求解特征差異最小值,選擇與用戶差異最小的商品作為候選推薦。

1.2 用戶—商品評分

(2)

式(2)中ru1,p和ru2,p分別為u1和u2對第p個商品的評分。

假設跨境電商平臺的m個用戶為U={u1,u2,u3,…um},n個商品為I={i1,i2,i3,…in},根據u1和u2用戶相似度,則可以計算任意用戶對商品的評分。其中用戶j對商品k的評分為：

(3)

遍歷該用戶對所有資源的評分值,選擇較高評分值作為候選推薦商品。

2 混合式商品推薦

2.1 基于隱語義模型(LFM)

設用戶u對隱含特征k的關注度為Puk,商品i在隱含特征k的重要程度為Qki,那么用戶u對商品i的評分為[6]：

(4)

式(4)中K為參與運算的所有特征。Pu和Qi分別為用戶u和商品i針對于所有隱含特征的關注度和重要度矩陣集合。

(5)

損失函數為[7]：

(6)

對上式加入正則項：

(7)

分別對關注度和重要程度求導得：

(8)

(9)

根據求得結果,不斷更新關注度和重要程度,更新方法為[8]：

(10)

(11)

當獲得穩定的Pu和Qi,則可以確定LFM模型。

2.2 K-means聚類算法

設空間中兩點i和j之間距離Sij為[9]：

(12)

設包含n維屬性的中心點為xi(xi1,xi2,xi3,…,xin),那么某個非中心點xj(xj1,xj2,xj3,…,xjn)和xi距離為[10]：

(13)

對比dij與距離閾值,當dij小于閾值表示xj與xi屬于相同類別。ε表示xi與該類中其他點的誤差。

(14)

N(xi)的含義為N個點中去除了xi的其他點,限制條件是∑j,xj∈N(xi)Sijxj=1,Sij≥0 。

化簡公式(14)得[11]：

(15)

那么K-means的聚類轉化為求解公式(16)[12]：

minε

(16)

2.3 K-means初始簇中心的鯨群優化

鯨群優化算法(WOA)通過鯨魚在捕食過程中的位置變化來搜尋規定范圍內的最優解,通過不同鯨魚角色的運動特點來完成最佳適應度個體的選擇。WOA個體的位置更新方法是[13]：

(17)

(18)

(19)

(20)

鯨魚螺旋攻擊方法為：

(21)

其中b為常量,l為rand[-1,1]。

鯨群獲得食物坐標后,采用概率p決定是采用包圍捕食還是螺旋攻擊：

(22)

每次更新位置后,都計算當前個體的適應度值,輸出適應度最優個體。

2.4 基于LFM和WOA-K-means混合式系統推薦

將LFM和WOA-K-means算法相結合,通過LFM評分函數獲得候選商品推薦序列,然后通過WOA-K-means聚類獲得與用戶同類別的商品。最后綜合兩種策略獲得的商品序列,則作為混合式協同推薦的商品。

3 基于Spark平臺的混合式推薦部署和流程

Spark作為大規模并行運算的常用處理方式,能夠有效提高電商產品的推薦效率。在混合式系統推薦過程中,LFM的關注度矩陣和重要度矩陣運算,K-means的類別誤差最小化求解,以及WOA的運動位置迭代更新,都需要強大的運算能力和運算效率的支持。通過多機并行及RDD運算,[15]可以有效增強跨境電商產品的混合式協同推薦。同時Spark MLlib庫[16]集成了多種深度學習庫,這也為混合式協同推薦提供了便利。LFM和WOA-K-means運算的Spark部署方法如圖1所示。

圖1 基于Spark平臺的混合式推薦部署

4 實例仿真

為驗證LFM和WOA-K-means混合式協同商品推薦算法的性能,分別對四家跨境電商平臺進行仿真分析,數據集如表1所示。首先,驗證LFM算法、K-means算法、LFM和K-means算法、LFM和WOA-K-means算法分別對四個跨境電商平臺的商品推薦性能,然后分別驗證單機和Spark平臺下的商品推薦效率。

表1 跨境電商平臺集

4.1 LFM與WOA-K-means的協同推薦性能

采用LFM和WOA-K-means 2種算法進行跨境電商產品的協同推薦,分別選擇不同的TOP推薦數,統計其推薦指標如表2所示。

表2 LFM與WOA-K-means的協同推薦性能

從表2可知,采用LFM與WOA-K-means的協同跨境電商產品推薦中,三個推薦指標值隨著推薦商品數量的增多而增加。在推薦商品數量為TOP2時,其推薦的準確率等指標均在0.3左右,而當推薦數量上升至TOP10后,其跨境電商產品的推薦準確率均達到了0.83以上,而到達TOP15后,其產品推薦準確率達到了0.9以上。對于相同推薦商品數,平臺C的推薦性能更優,這表明LFM與WOA-K-means協同推薦算法對平臺C的適用度最高。

采用單機進行LFM與WOA-K-means的混合式協同推薦,測試樣本數為2000,分別統計不同產品推薦數量下的推薦時間。

表3 LFM與WOA-K-means協同推薦時間

從表3可知,對相同平臺,其推薦TOP數量的改變對推薦時間影響較小,基本維持在90 s左右,這說明采用LFM與WOA-K-means的協同推薦,其算法穩定時得到的推薦序列數與計算時間沒有較強的關聯。同時對比不同平臺發現,在相同數量樣本的協同推薦中,電商平臺A和B的完成推薦耗時更少。

4.2 獨立推薦和混合協同推薦性能對比

分別采用LFM算法、K-means算法、LFM和K-means算法、LFM和WOA-K-means算法進行跨境電商產品推薦,對比單一推薦和混合式協同推薦的性能差異。

圖2 LFM與WOA-K-means協同推薦準確率(TOP2)

圖3 LFM與WOA-K-means協同推薦準確率(TOP10)

圖4 LFM與WOA-K-means協同推薦準確率(TOP15)

從圖4可知,對相同的商品推薦數量,不同模型的推薦準確率存在較大差異。相比較而言,通過K-means的用戶和商品特征聚類得到的候選推薦序列并不是用戶期望得到推薦的商品,其推薦準確率均在0.35以下,而LFM挖掘用戶和商品特征語義得到的相似推薦準確率也不超過0.4,說明采用這兩種方法的獨立推薦其效果并不理想。而通過LFM和K-means協同完成推薦,其準確率均提升100%以上,再加入WOA算法對K-means優化后,其推薦準確率值有了進一步提升。

對比不同推薦序列數量,在TOP2時,四種算法的電商產品推薦準確率均較低,這說明四種算法均不能實現電商產品的精準推薦。而當推薦序列達到TOP10以上后,協同推薦準確率上升明顯。

4.3 Spark平臺的推薦效率

從四個跨境電商平臺中分別選擇不同數量的樣本構成六個容量不同的數據集,分別是[S-100K,S-400K,S-1M,S-10M,S-100M,S-1G]。采用LFM與WOA-K-means協同推薦,計算單機和Spark模式下的推薦效率,Spark平臺包含三個節點,單機僅包含1節點。

圖5 單機和Spark的協同推薦效率

從圖5可知,對不同容量電商集,LFM與WOA-K-means協同推薦算法部署至單機與Spark平臺的推薦效率呈現不同結果。對于容量為100K和400K的樣本集,Spark的并行計算優勢體現并不明顯,而當容量超過100MB時,Spark平臺的協同推薦相比于單機,其效率得到明顯提升。在容量為1GB時,單機需要400秒以上才能實現推薦序列生成,而Spark平臺僅需50多秒。

表4 不同算法的推薦效率

從表4可知,在樣本容量較小時,對于LFM算法,其單機推薦效率更高。因為采用Spark平臺節點間任務通信需要耗費時間,其他情況下,三種算法均在Spark平臺相比于單機更節省推薦時間。

5 結論

采用LFM與WOA-K-means算法用于跨境電商產品的混合式協同推薦,可獲得較高跨境電商產品推薦準確度。并將LFM與WOA-K-means均部署至Spark平臺,提高了大規?；旌鲜絽f同推薦效率。