智能餐廳綜合系統的設計與開發

張杰 武星好 于雅楠

摘? 要：隨著智能化工具的不斷革新發展，現代餐飲業也趨向于多元綜合化。針對傳統餐飲業人力成本高、效率低，以及疫情期間防控不嚴等諸多問題，文章在NEL-AI800開發板與人工智能物聯網應用場景的基礎上，設計并開發了一套集防疫體溫檢測、自助點餐、會員人臉識別、刷臉支付、掃碼支付、后廚在線監控、建議評價等功能為一體的智能餐廳綜合系統。測試結果表明，該系統性能可靠，可以有效提高傳統餐廳運營效率，具有廣闊的發展空間。

關鍵詞：物聯網；智能餐廳；疫情；刷臉支付；掃碼支付

中圖分類號：TP311.5? 文獻標識碼：A? 文章編號：2096-4706（2023）02-0156-05

Design and Development of Intelligent Restaurant Integrated System

ZHANG Jie1， WU Xinghao2， YU Yanan2

（1.School of Computer Science and Engineering， Tianjin University of Technology， Tianjin? 300384， China;

2.School of Information Technology and Engineering， Tianjin University of Technology and Education， Tianjin? 300222， China）

Abstract： With the continuous innovation and development of intelligent tools， the modern catering industry also tends to be diversified and integrated. In response to many problems such as high labor costs， low efficiency， and poor prevention and control during the epidemic in the traditional catering industry， based on the NEL-AI800 development board and the application scenario of the artificial intelligence Internet of Things， this paper designs and develops a set of intelligent dining hall comprehensive system that integrates the functions of epidemic prevention temperature detection， self-service ordering， member face recognition， paying by scanning face， paying by scanning code， kitchen online monitoring， suggestion evaluation， etc. The test results show that the system has reliable performance， can effectively improve the operation efficiency of traditional restaurants， and has broad development space.

Keywords： Internet of Things; intelligent restaurant; epidemic; paying by scanning face; paying by scanning code

0? 引? 言

現階段餐飲業的人工智能化大體分為兩類[1]：一類為餐飲前臺通過智能點餐系統下單，優化餐廳人工成本，精簡顧客候餐用時；另一類為后廚運用機械化智能設備，如自動出菜機等，降低餐廳人工成本的同時也減少了人、菜接觸，確保餐品的衛生。然而餐廳智能化應用仍未完善：首先，很多智能機器和系統軟件處于測試階段，需經歷優化升級，以確保穩定通用；其次，餐飲人員需重新學習智能設備使用方法等。

為了更好地優化餐飲業的成本和效率，針對解決智能餐飲的結構單一、需求滿足低下等諸多人工智能物聯網應用[2-4]缺陷，本文設計并開發了一款擁有防疫體溫檢測、分時點餐、刷臉支付、掃碼支付、后廚在線監控等功能的智能餐廳綜合系統。該系統界面優美、功能實用，可有效提高餐廳服務效率，進一步推進智能化進程。

本文主要分為四部分：需求分析、總體設計、關鍵技術、系統測試。第一部分介紹了當前餐廳對智能化的多種需求；第二部分從軟、硬件兩方面介紹了該系統設計與構成；第三部分更加詳細地闡述了該系統技術核心；第四部分給出了系統的實際測試結果。

1? 需求分析

1.1? 業務需求

當前餐廳中大多數操作環節是依靠服務員完成的，服務員負責為顧客介紹菜品并記錄點餐，然后把點餐結果交予廚房，廚房根據菜品種類安排做菜順序，再由服務員為顧客上菜，最后由服務員向顧客收取費用。傳統餐廳服務流程如圖1所示。

這樣的運營模式不僅人力成本高，并且容錯率低，導致餐廳運營效率低下。

1.2? 特殊需求

疫情期間，大多數傳統餐廳設立人工測溫，有的餐廳因人手不足而無法設立測溫點來保證餐廳環境及人員安全。本系統提供防疫體溫檢測模塊，在每位顧客進入點餐程序時進行檢測，若體溫異常，將發出警報提醒服務人員進行處理。

1.3? 市場需求

如表1所示，隨著現代消費結構的變革，線上、線下一體化日益深化，傳統餐廳與智能餐廳的差別主要體現在服務上，傳統餐飲僅僅是對顧客的維護，而智慧餐飲是引領顧客。

2? 總體設計

2.1? 硬件設計

本系統使用硬件產品包括：NLE-AI800開發板、顯觸一體屏、AMG-8833紅外熱像儀傳感器、攝像頭、Wi-Fi天線。

系統基于NLE-AI800開發板的Linux環境運行，使用Wi-Fi天線達到網絡互通，防疫體溫檢測使用AMG-8833紅外熱像儀傳感器實現，攝像頭應用于人臉注冊、支付、后廚監控等場景，基于算法模型分析實現配套功能。以下為核心硬件設計介紹。

2.1.1? NLE-AI800開發板

NLE-AI800開發板是一款具備高可擴展性的AIOT開發平臺，平臺具有AI計算能力，提供4T FLOPS的算力，支持多sensor輸入，集成豐富的硬件接口[5]。NLE-AI800開發板如圖2所示。

2.1.2? AMG-8833紅外熱像儀傳感器

防疫體溫檢測采用AMG-8833紅外熱像儀傳感器[6]，該傳感器使用I2C協議連接，通過像素點、溫度值、中斷引腳[7]等與軟件操控結合實現。AMG-8833紅外熱像儀傳感器如圖3所示。

2.1.3? 攝像頭

本系統與攝像頭響應的事件包括：人臉注冊、人臉支付及在線后廚監控事件。攝像頭如圖4所示。

2.2? 軟件設計

2.2.1? 防疫溫度檢測

就餐顧客在點餐之前預先進行防疫體溫檢測，僅在體溫正常情況下繼續點餐流程，若體溫異常將發出警報并禁止點餐，充分保障顧客的就餐環境及人員安全。

2.2.2? 分時點餐模塊

顧客根據當前時段智能進入對應的分時點餐界面，菜單界面根據分時段[8]對餐品進行分類分塊展示，并附有實物圖片及推薦度排序，顧客可進行個性化挑選，優化消費者的體驗感。

2.2.3? 會員專享模塊

會員模塊包含會員注冊、個人信息查詢、賬戶充值、專享刷臉支付及餐品優惠活動。其中，個人信息查詢模塊打破傳統選購與賬戶信息分區獨立的情況，將二者相互貫連，使顧客可選擇更貼合個人情況的餐品。

2.2.4? 刷臉支付

在進行刷臉支付之前，根據系統中的人臉模型數據進行人臉模型判別[9-11]，再通過系統注冊實現人臉特征的提取[12-14]和數據庫的錄入。在刷臉支付過程中，進行活體檢測和人臉特征提取，并將活體人臉特征與人臉數據庫特征信息進行配對，若相似率達到85%以上則支付成功，反之失敗。

2.2.5? 二維碼支付

鑒于系統尚未進入商業階段，故采用支付寶的“沙箱環境”代替實現。

2.2.6? 建議評價模塊

利用該模塊，顧客在消費完后對餐品及餐廳綜合情況進行評價反饋，餐廳根據回饋的信息更有針對性的優化改進。另外，還可以根據各餐品的歡迎程度及滿意度進行匯總與排序，通過數據分析[15-17]實時反饋到點菜界面上，讓顧客對菜品一目了然。

2.3? 點餐系統流程設計

本系統基于NEL-AI800開發板與人工智能物聯網應用場景，設計開發防疫體溫檢測、智能自助點餐、刷臉支付和掃碼支付等功能，并結合AMG-8833紅外熱像儀傳感器、視覺傳感器、人臉特征模板識別、支付寶（沙箱環境）與軟件環境等實現智能點餐。點餐系統流程如圖5所示。

3? 關鍵技術

3.1? 智能測溫

智能測溫是基于AMG8833紅外熱成像儀設計，包含8×8陣列的紅外熱成像傳感器陣列，利用Python第三方庫smbus2模塊，與開發板針座接口通過I2C協議可為微處理器提供1組64個獨立的溫度數字信號，并從返回的紅外溫度中取數個離散數據的均值輸出，在體溫超閾值時觸發INT可配置的中斷引腳，啟動中斷程序響應警報操作。智能測溫流程如圖6所示。

3.2? 數據管理

對智能餐廳的信息管理主要包括對餐品、會員、服務管理，還包括統計銷售額、餐品銷售情況等，為餐廳的良性循環運營提供大數據下的科學依據。數據管理內容如圖7所示。

3.2.1? 餐品管理

餐品管理是對餐品實時銷售情況的管理，動態即時更新餐品狀態，若某餐品缺貨，分時點餐界面將其顯示為暗色“售罄”，并無法選中，僅供瀏覽。此外可根據各餐品的銷售情況，將受歡迎度高的餐品優先推薦給顧客。

3.2.2? 會員管理

當餐廳新注冊會員時，數據管理庫中可將其信息內部存儲，當其信息發生變動時，數據管理庫可對相應數據進行更改。

3.2.3? 服務管理

顧客在就餐后對餐廳的綜合滿意度進行評價，也可以在看到前人評價的基礎上，對現有的問題或者消費體驗欠佳處提出評分與建議，后臺將統計整理以便餐廳針對性改進。

3.2.4? 數據分析

匹配餐廳運營策略，匯合統計當日、月的營業額與消費的時段、餐品、口味等數據信息，并以此為依據，動態智能調整餐廳營業模式，合理規劃餐品量與全新活動等。

3.3? 掃碼支付

通過支付寶開發平臺，安裝所需的支付SDK，生成自己的服務端的私鑰和公鑰來配置掃碼支付所需環境。

掃碼支付流程：顧客使用APP支付時，首先APP向商戶服務器發送支付請求并獲取商戶服務端返回的訂單信息；然后商戶APP調用支付接口向支付寶服務端發送支付請求；在接收到返回的數字支付結果后，商戶APP再向商戶服務端請求同步數字支付結果；最后支付寶服務端將接收簽名、解析并在APP上返回最終支付結果。支付寶（沙箱環境）原理如圖8所示。

3.4? 刷臉支付

3.4.1? 實現基礎

刷臉支付實現主要包含三部分：主窗口類、攝像頭讀取相機的線程類和人臉檢測算法線程類。

3.4.2? 實現結構

數據結構包括：人臉結構體信息、人臉識別句柄、人臉檢測輸入輸出結構體、人臉對齊輸入輸出結構體、人臉特征提取輸入輸出結構體等。

3.4.3? 實現途徑

使用ctypes方式進行調用C動態庫（so），ctypes是專門為Python語音所準備的一個外部函數庫。它提供兼容C的數據類型，并允許調用DLL或共享庫中的函數。通過ctypes可以使用純粹的Python來包裝這些函數庫。

4? 系統測試

本節主要對系統的掃碼支付模塊以及刷臉支付模塊進行測試。

顧客進入本系統后，于分時餐段點餐界面進行個性化餐品選擇。分時點餐界面如圖9所示，分時餐段（午餐）菜品選擇界面如圖10所示。

4.1? 掃碼支付

進行餐品結算時，顧客通過APP掃碼支付訂單，訂單金額與選購菜品金額一致，支付操作后付款成功，商家響應收款提示，系統提示支付完成，同時可進行餐廳滿意度評價。測試結果顯示掃碼支付功能正常運行，掃碼付款界面如圖11所示，掃碼付款成功界面如圖12所示。

4.2? 刷臉支付

進行餐品結算時，顧客通過刷臉支付訂單，未檢測到人臉或人臉未對齊時界面提示相應文字，在人臉對齊并成功支付后，扣除的金額與訂單對應折扣價一致，且賬內余額相應減少。測試結果顯示刷臉支付功能正常運行，刷臉付款界面（未檢測到人臉）、刷臉付款成功界面及賬內余額查詢界面分別如圖13-15所示。

5? 結? 論

本文針對餐廳單一銷售功能的“痛點”，并與疫情現狀相結合，設計開發基于物聯網技術的智能餐廳綜合系統，打造集防疫體溫檢測、自助點餐、會員服務、后廚監控、刷臉支付、掃碼支付、建議評價等多功能為一體的智能餐廳服務體驗。系統測試表明，本系統在滿足日常餐廳用餐的基本需求上，可較大程度提高餐廳營銷效率和顧客消費滿意度。接下來計劃將支付寶（沙箱環境）替換為支付寶API支付接口，實現廣泛應用推廣。

參考文獻：

[1] 梁妍，王殿華，朱灝琨.京津冀服務業智能化影響因素與發展對策——以餐飲業為例 [C]//天津市社會科學界第十五屆學術年會優秀論文集：壯麗七十年輝煌新天津（下）.天津：天津人民出版社，2019：403-410.

[2] 廖建尚.企業級物聯網開發與應用 [M].北京：電子工業出版社，2018.

[3] 廖建尚，何丹，程小榮.物聯網識別技術 [M].北京：電子工業出版社，2019.

[4] 安翔.物聯網Python開發實戰 [M].北京：電子工業出版社，2018.

[5] 新大陸教育.2020年全國大學生物聯網設計競賽大幕拉開，新大陸賽題等你Pick [EB/OL].[2022-08-18].http：//www.newland-edu.com/show？article_id=312&pagenum=all.

[6] 楊立.紅外熱成像測溫原理與技術 [M].北京：科學出版社，2012.

[7] KACMAZ S，ERCELEBI E，ZENGINS，et al. The use of infrared thermal imaging in the diagnosis of deep vein thrombosis [J].Infrared Physics and Technology，2017，86：120-129.

[8] 劉偉榮，何云.物聯網與無線傳感器網絡 M].北京：電子工業出版社，2013.

[9] 吳至文，郭葉軍，宗煒，等.OpenCV深度學習應用與性能優化實踐 [M].北京：機械工業出版社，2020.

[10] 塞瓦克，禮薩·卡里姆，普賈里.實用卷積神經網絡：運用Python實現高級深度學習模型 [M].王彩霞，譯.北京：機械工業出版社，2019.

[11] 王新宇.Python機器學習開發實踐 [M].北京：人民郵電出版社，2020.

[12] 米尼奇諾，豪斯.OpenCv3計算機視覺Python語言實現[M].劉波，苗貝貝，史斌，譯.北京：機械工業出版社，2017.

[13] 喬希，米蘭·埃斯克里瓦，戈多伊.OpenCv實例精解 [M].呆萌，李風明，李翰陽，譯.北京：機械工業出版社，2016.

[14] 王天慶.Python人臉識別：從入門到工程實踐[M].北京：機械工業出版社，2019.

[15] IdrisI.Python數據分析 [M].韓波，譯.北京：人民郵電出版社，2016.

[16] 吳振宇，李春忠，李建峰.Python數據處理與挖掘 [M].北京：人民郵電出版社，2020.

[17] 林耀進，張良均，張興發，等.Python機器學習編程與實戰 [M].北京：人民郵電出版社，2020.

作者簡介：張杰（2000—），男，漢族，福建福州人，碩士在讀，主要研究方向：計算機視覺；于雅楠（1984—），女，漢族，天津人，講師，博士，主要研究方向：移動機器人自主定位與環境建模。

收稿日期：2022-08-25