深度學習下物聯網智能零售設備的投放設計與應用

王子怡，劉 喆，李玉婉，陳 淼，韓 霖，張亮（通信作者）

（哈爾濱理工大學榮成學院 山東 榮成 264300）

0 引言

我國歷來高度重視數字經濟產業的發展，在“十四五”規劃中，加快數字化經濟和網絡強國建設已經成為我們的戰略目標之一。 依托深度學習算法和物聯網技術，智能新零售設備和技術應用更加專業化，體現在設備地區分配、貨物監測補給等多個方面。 常見的有刷臉支付、線上診療、無人零售、人工智能服務等。 從企業動態來看，盒馬鮮生、永輝超級物種、豐e 足食等大型線上線下結合的零售門店大批興起。 自動售貨機也從單一的投幣式付款型號發展到如今多種多樣的各類型號，其利用多種多樣的貨道，組合智能控制系統，能夠自行把人們挑選的貨品送到人們手中，且設備投放方便且運營成本低，前景廣闊。

1 相關概念

1.1 物聯網新零售

“新零售”主張以5 G 物聯網技術為依托，建設一批線上、線下和物流統一的銷售模式。 總體框架為后臺——中臺——前臺。 后臺主要依靠新興的數字化技術如人工智能等作為基礎；商業鏈路上的各個環節和資源，包括市場、供應、制造端構成了新零售的中臺；零售的消費場景、消費者和商品構成新零售的前臺，完成商品銷售和消費體驗［1］。

1.2 深度學習算法

深度學習是機器學習領域的研究方向之一。 通過學習，機器可以掌握識別事物的特征規律的能力，從而獲得對各種數據更加準確的解釋。 與之前的統計學習方法和淺層神經網絡相比，深度學習成功的關鍵是將網絡深層化多層化，讓每一層都參與到相應階段的訓練和學習中來，將上一層的輸出數據作為下一層的輸入數據，由淺入深地逐步完成學習［2］。

2 當前新零售發展存在的主要問題

2.1 智能設備技術設計存在短板

智能化運營能夠提高品牌運營效率，實現客戶購買方式的轉變，并且精準對接顧客需求，實現個性化引導、沉浸式購物的效果。 目前，大多數企業對于數字技術與零售業的結合仍處于初級階段，難以達到上述新零售的理想效果。 由于缺乏技術支持，大部分智能設備投放點選擇缺少實際數據支撐，難免會造成某些地區設備的“冷場”，而且沒有進一步應用智能識別與虛擬現實技術實現貨物補給，從而造成資源浪費和經濟損失。 更多的新零售企業將技術應用在了與消費者對接的表層，其對消費者的購買信息難以進行處理和綜合分析，無法實現信息資源利用的最大化［3］。

2.2 信息采集的安全問題有待提高

伴隨著新零售行業的發展，消費者的個人信息和支付信息必然會被大量收集。 如何確保消費者信息安全變成了一項挑戰。 在個人信息與利益畫上等號的時代，企業如果不做好信息安全的防范，由此引發的盜號、癱瘓、數據惡意修改等問題會引發消費者對企業信息安保能力的質疑，對企業的商業信譽會造成不良影響。 極少數企業禁不住利益的誘惑，出賣消費者信息換取企業短期利益，盡管針對以上問題，新零售企業采取了多種防范措施針對消費者信息進行保護，有關部門也在加大監管力度［4］，但是新零售行業信息采集與保護的規范仍有很長的一段路要走。

3 智能零售設備的設計與改進建議

3.1 地區分配設計

對于智能零售設備的地區投放問題，依據是以各地區人口數量比例進行平均分配。 假設山東人口密度：江蘇人口密度＝64 ∶79，則如果有143 個機器，則在山東分配64臺，在江蘇分配79 臺。 再結合實際情況考慮，重點在景區、機場、高鐵站、公交站、公園等人流量較大且人們需求意愿強烈的地方配置機器。

投放數量因人流量而定，為使設備使用價值最大化，測定人流量的方法尤為重要。 目前，社會上常用的測量方法有：（1）紅外對射。 安裝紅外對射檢測設備，當行人穿過紅外感應區域會觸發紅外對射裝置，后臺系統會根據觸發結果實現人流統計。 （2）單點激光雷達。 水平安裝單點激光雷達，當行人穿過檢測區域時會引起激光雷達測距發生變化，后臺系統根據接收到的數據變化實現人流統計。 （3）50 面陣激光雷達。 搭設印面陣激光雷達，覆蓋整個檢測區域，當行人穿過檢測區域時，引起激光雷達點發生變化，通過相關點云算法實現行人識別及統計。

以上三種方法雖然使用廣泛，卻存在一定的弊端，即無法精確識別到不同的個人。 若同一個人在同一臺設備周圍徘徊，即使該地區人跡罕至也會造成人流量大的檢測結果。 為提高識別準確度，本文提出采用基于顏色直方圖的跟蹤算法與計算機視覺感知技術的人流量檢測方法。人流密集度監測步驟如圖1 所示。

圖1 人流密集度監測步驟

基于顏色直方圖的運動目標跟蹤算法可以進行一天內人流量密度檢測，即在攝像頭錄制視頻中對定點地區的人群進行多運動目標跟蹤。 這種基于顏色直方圖的目標跟蹤算法受動作變化影響很小，因此顏色直方圖是在許多圖像檢索系統中被廣泛采用的顏色特征［5］。 它所描述的是在攝像頭的監控可視范圍內不同的色彩在整幅圖像中的占比，而并非其空間上的位置，即無法描述圖像中的對象或物體。 基于此優點，顏色直方圖適合于描述那些難以進行自動分割的圖像，環境干擾也基本上很少影響其工作原理。 因此，采用此方法可以對定點地區內人群流量進行追蹤式的人數統計。 完成運動目標的檢測跟蹤后，調研者可以提取視頻中的各類關鍵信息進行人數的統計，實現定點地區人流密度的計算。 再根據各定點統計的人流量數據，將數據進行降序排列，選擇人流量大的地點進行設施的安放。

基于計算機視覺的感知技術與顏色直方圖運動目標跟蹤方法在理念上非常相似。 它們都通過對定點地區的人群進行圖像識別和捕捉，獲取圖像特征，在計算機視覺匹配的基礎上進行具體的目標檢測并。 在此基礎上，可以得出人群密度估算模型。 以此模型在前期圖像預處理及前景分割的基礎上估算人群密度并對其進行分級，最終對于定點地區的人流密度進行結果分析，實現人流密度的精準估算。 將數據進行降序排列，選擇高人流量的地點投放設備。

其工作原理如下：（1）個人圖像采集。 攝像機或者其他圖像采集設備會對人群進行拍攝或錄像。 此外，還需要確保被采集的圖像具有一定的多樣性和清晰度，以提高后續步驟的準確性。 （2）對圖像進行特征提取。 特征提取是指從圖像中提取出能夠表示個人特征的信息，如身體比例、穿著的顏色、面部特征等。 常用的特征提取方法包括主成分分析（principal component analysis， PCA）和線性判別分析（linear discriminant analysis， LDA）等［6］。 這些方法可以將個人圖像轉換為特征向量用于后續的比對和識別。（3）特征匹配。 信息與個人識別匹配是該算法的核心步驟。 已識別的個人特征會被記入數據庫，然后使用這些已識別過的個人特征來比對和匹配尚未識別過的個人特征。匹配的方法可以采用歐氏距離、余弦相似度或支持向量機等。 通過計算待識別個人特征與已識別個人特征之間的相似度或距離，可以確定兩者之間的相似程度。

3.2 貨物識別設計

現有的智能零售設備主要為自動售貨機，其工作原理涉及多個硬件組成部分。 首先是貨道系統，也就是放置商品的地方。 貨物通常通過多層梯形貨道按照類別進行分類放置，并配備有傳感器、電機和控制裝置等。 用戶通過顯示屏和按鍵模塊來選擇所需商品。 顯示屏會呈現商品的圖片、價格以及其他相關信息，用戶可以通過按鍵來選擇商品的編號或名稱。 其次，用戶需要付款時，控制裝置會計算出所需支付的金額。 當付款完成后，自動售貨機會進入出貨過程。 這時，控制裝置會接收到出貨的指令，然后通過電機和傳送帶等設備將商品送到取貨口，并通過傳感器檢測商品是否已取出。 此類流程僅限固定位置放置的貨物取出，補給同一貨物時，若想更新貨物，則需要重新對貨物的編號和名稱進行錄入，操作煩瑣。

為解決此類問題，有許多先進的方法可供選擇，如圖像檢測、分類模型和端到端的一階段模型（如YOLO 系列、EfficientNet 系列）等［7］。 再進一步，也可以選擇二階段模型，其中一種方法是利用3Faster R?CNN 單模型來完成所售商品的檢測和分類任務。 然而，此方法也存在一些明顯的弊端：首先，它需要進行多狀態通道訓練，使用log 損失函數微調CNN，再利用支持向量機進行分類，利用線性回歸模型來提高精確度，訓練占內存和耗時間。 其次，目標檢測速度過慢，因為R?CNN 沒有共享計算，每個推薦區域都要經過卷積層處理。 最后，SPPNet 雖然加快了速度，但仍然具有和R?CNN 一樣的缺點，即多階段訓練。 此外，SPPNet 無法更新軟件過程改進方法和規范之前的卷積層，還存在限制精確度的問題。

為解決訓練慢和精度低的問題，本文提出設計基于ROI?Align 雙線性插值原理和矩陣模板庫（Matrix Template Library， MTL）的智能識別貨物的自動售貨機。 所謂ROI?Align，是將目標區域進行分割，從而對目標區域精細分類的方法。 例如，易拉罐商品的瓶口相似度較高，一般機器識別容易出現錯誤，而此方法較適合這類再進一步的回歸任務（比如3 D 框）。 基于計算機視覺的多任務學習能夠實現有效的針對性訓練（比如單階段檢測一直存在的正負樣例不平衡，如果有其他任務，可以在訓練過程中針對正樣例進行進一步的訓練，圖像中部分區域可以在某些任務上獲得額外的訓練，可以說是訓練階段的一種注意力分配）。 MTL 中方法通常共享卷積層，而學習特定任務的完全連通層，可以建立深層關系網絡來改進這些模型。 除了在共享層和任務特定層的結構外，在完全連通的層上放置矩陣先驗可以讓模型學習任務之間的關系，其原理類似于貝葉斯模型。 在這兩種算法的支持下，足以解決計算機視覺問題，精準識別售賣機中的各種貨物。 加入深度學習的智能設備與傳統智能設備相比的優勢如圖2 所示。

圖2 加入深度學習的智能設備與傳統智能設備相比的優勢

3.3 貨物更新設計

目前，智能零售設備的貨物多通過人工定期更新和補貨，除了四季必備的礦泉水和面包，人們日常用到的書本、口罩等也成為售賣的對象。 針對設備補貨更新問題，本文提出了新的設計：對上貨更新流程進行改良。 以食品零售為例，根據季節對人們的飲食習慣進行調研，利用多因素回歸模型進行變量檢驗剔除，然后獲得人們在不同季節喜好的食物特征，投其所好進行補貨。 建立完善的反饋機制，即開發設備配套的移動終端APP，收集用戶意見，統計用戶對飲品和零食的需求，及時對貨物種類進行更換。 針對貨物補給，可采用時間序列分析模型，以各種貨物定期的銷售數量為樣本，對未來定期的銷售量進行預測分析。例如，可采取1.5 倍定律，即補貨量為預測銷售量的1.5倍，對現有貨物進行補給。

3.4 深度學習下對智能零售設備的管理改進建議

無論是數據安全的可靠性還是操作流程的難易程度，歸根結底是依靠行業的標準來決定的。 標準化作為一種為在一定的范圍內獲得最佳秩序，對實際的或潛在的問題制定共同重復使用規則的活動，運用在新零售行業中是非常有必要的［8］智能零售設備融合了商業、物流、支付等多個獨立領域，不同的運營體系很容易造成沖突矛盾。 若接收的大量數據格式不同，對各項事務處理的煩瑣度也會隨之增高。 因此，為了保護數據安全，智能零售行業應加大對行業標準建設的關注與投入。另外，源代碼漏洞已成為軟件與信息系統安全的主要威脅，研究源代碼漏洞檢測技術對于減少軟件安全漏洞、降低軟件安全風險具有重要意義，基于深度學習的漏洞監測技術具有成本低效率高的優勢，在未來的信息安全領域發展前景廣闊。

4 結語

綜上所述，依托物聯網技術的發展，智能零售設備正在逐漸取代線下實體購物商店。 基于深度學習的智能零售設備能夠將假性人流密度大、貨物圖像識別不準確和用戶需求的三大問題逐一解決，使智能零售設備的投放地區分配更加合理，滿足用戶高效購物取貨體驗的需求，提高設備和資源的利用率。 物聯網和深度學習領域的融合應用研究在未來將大力推動社會的技術進步，加快智能化社會的發展進程。