一種基于圖割算法的低成本指尖觸控系統

趙泓屹 盧健

摘? 要：文章針對大多數筆記本電腦不提供觸控交互方式的現狀，提出了一種低成本的指尖觸控系統，使普通筆記本電腦屏幕也能滿足用戶觸控交互的需要，其僅需筆記本電腦的自帶攝像頭通過平面鏡的反射完成觸屏檢測，具有人機距離限制小和硬件成本低等諸多優點。利用手指會在屏幕上產生倒影的特性，通過識別手指與手指倒影間的距離，實現手指觸屏的識別。文章提出了一種結合閾值和圖論的手指自動分割算法。此算法通過閾值提取獲取手指和倒影的種子像素，并結合圖論算法進行手指和倒影分割。實驗結果表明，該交互系統在不同實驗環境下有較好的表現，能夠完成手指觸控識別，滿足用戶的交互需求。

關鍵詞：人機交互；圖像分割；觸控識別

中圖分類號：TP391.4? 文獻標識碼：A? 文章編號：2096-4706（2023）15-0001-06

A Low-cost Fingertip Touch Control System Based on Graph Cuts Algorithm

ZHAO Hongyi， LU Jian

（School of Information Engineering， Dalian University， Dalian? 116622， China）

Abstract： This paper addresses the current situation that most notebook computers do not provide touch control interaction， and proposes a low-cost fingertip touch control system， so that ordinary notebook computer screens can also meet the needs of user touch control interaction， which only requires the notebook computer's own camera through the reflection of the plane mirror to complete the touch screen detection， with a small human-machine distance limit and low hardware costs and many other advantages. It uses the feature of finger reflection is on the screen， then the finger touch screen recognition is achieved by recognizing the distance between the finger and the finger reflection. An automatic finger segmentation algorithm combining threshold and graph theory is proposed in the paper. This algorithm extracts through threshold and obtains the seed pixels of fingers and reflections， and performs finger and reflection segmentation by combining graph theory algorithm. The experimental results show that the interactive system has good performance in different experimental environments and can complete finger touch control recognition to meet the user's interaction requirements.

Keywords： human-computer interaction; graph cuts; touch control recognition

0? 引? 言

近年來，隨著計算機性能的快速發展以及用戶需求的多樣化，以平板、筆記本電腦為代表的移動型硬件迅速普及，推動著人機交互技術的發展。而觸摸屏的出現，打破了既往的人機交互方式，用戶可以通過對屏幕的觸碰完成交互，實現繪畫、標注及涂改等便攜功能。電阻觸摸屏、紅外線觸摸屏、電容觸摸屏和聲波觸摸屏等，已經形成了商業化技術。但是也存在一個問題，現在的交互方式雖然變得簡單可視化，但是成本卻在不斷上漲，市面上滿足觸控功能的顯示屏價格相比之下要高出許多。那么如何通過低成本的方式讓沒有觸屏功能的筆記本電腦也能擁有觸屏功能呢？為此，本文提出了一種基于圖割算法的低成本指尖觸控系統，它具有人機距離限制小、操作自然靈活、沒有個人依賴性、硬件成本低、用戶之間的特征差異小等諸多優點。其僅需筆記本的自帶攝像頭外加一枚平面鏡，即可檢測手指與屏幕的交互狀態，完成手指觸屏的實時交互檢測。

1? 相關研究現狀

為了打破傳統鼠標鍵盤的人機交互方式，許多學者提出不同的人機交互方法。李貝[1]借助kinect深度攝像頭，對復雜手勢交互行為進行識別，并將深度信息與圖像顏色信息進行融合分割。隨后又提出一種融合Hu不變矩的HOG特征提取方法，增加提取的特征向量，從而提升手勢識別的準確率。于霄洋[2]在指尖觸控中加入了深度信息以獲得手指到桌面的距離，利用了飛行時間法計算其深度距離，以便達到更精準的指尖觸控。Liang等[3]提出了一種環形輸入設備DualRing，通過捕捉手指的運動狀態，感知相對于桌面的運動軌跡，完成手部交互的識別目的。伍杰[4]針對傳統手勢識別交互硬件昂貴和準確率低下的特點，提出了基于Leap Motion的靜態手勢識別框架，并將手勢模型的數值特征與圖像的HOG特征進行融合，從而提高準確率。童欣[5]結合膚色檢測和重心距離法檢測指尖的位置，通過佩戴黑色手環分割手指部分，完成輪廓識別和指尖跟蹤，輔助手指交互的應用。2018年清華大學提出了一種基于投影-攝像系統的投影觸摸板技術[6]，結合了結構光和深度信息來獲取手指的相對坐標，通過手部模型來判斷手指的運動軌跡和位置，并利用手部的21個關鍵點結合卡曼爾濾波進行精確跟蹤，實驗結果表明可以較好地完成手部和投影之間的交互。Tsai等人提出了一種低成本的人機交互手勢識別系統[7]，該系統從背景中進行膚色檢測捕獲手指后，通過連通分量標記算法捕獲提取像素的質心，隨后采用凸包算法去除手臂等干擾膚色點，提取手部像素，進行手勢分類識別，最終實現手勢交互。各學者提出的新型人機交互系統雖各有特色，但是大部分系統的硬件要求依然很高，且對實驗環境要求苛刻，并不具有通用性。

2? 基于視覺的指尖觸控系統

此文旨在研究出一種基于視覺的指尖觸屏技術，因為手指的觸碰會在屏幕上產生倒影，所以此系統利用手指與倒影之間的距離作為手指觸碰屏幕的條件進行判定。為了使筆記本的自帶攝像頭可以拍攝到包含屏幕與手指的圖像，通過置放一枚平面鏡固定在攝像頭前方，攝像頭通過平面鏡的反射拍攝屏幕與手指以及倒影圖像，其實際工作場景如圖1所示。

系統主要分為三個部分介紹。第一個部分為手指和手指倒影的檢測以及分割，第二個部分為手指觸碰到屏幕的判定條件，第三個部分為觸屏點位置的確定。系統流程圖如圖2所示。

2.1? 手指及倒影的檢測和分割

若想利用倒影輔助信息完成手指觸屏的識別，首先需要從每一幀的圖像中獲取到手指和倒影的信息。為了高效準確地檢測并分割屏幕前的手指及手指倒影，此文提出了一種結合閾值和圖論的圖像分割算法。此算法首先通過閾值提取到手指及倒影部分作為初始前景種子點，隨后根據已知種子點對圖像進行圖論分割，最后通過開運算對可能的噪點進行去噪，得到分割后的手指及倒影圖像。常用的圖像分割方法分別有基于閾值和圖論的圖像分割方法，其適用條件和分割效果也有所不同。

基于閾值的圖像分割方法[8]的基本思想就是根據目標的灰度特征選取適合的像素點，過濾掉區間外的像素點從而實現分割。通過選取靜態閾值的方法進行手指分割效率較高，但是對噪聲的干擾非常敏感，且閾值區間的選取對于分割效果有舉足輕重的作用，過小會導致無法選取目標像素點，而區間過大會將背景的干擾點誤分割為目標像素，并不適用于背景復雜的圖割應用。

而基于圖論的圖像分割則采用將圖像分解的思想，將圖像抽象的劃分為一張節點關系圖，通過節點之間的關系建立能量函數，再通過最大流最小割求解能量函數的最優解，從而完成圖像分割，最早由Boykov等人提出了Graph Cuts算法[9]，其需要用戶對初始圖像進行標記，劃分前景和背景種子點，將圖像分割問題轉化為帶權無向圖的分割問題，如圖3所示，其為建立的s-t網絡關系圖。通過構建能量函數求解最優解得到最適宜的分割路徑，用最大流最小割算法[10]求解能量函數。但是Graph Cuts算法交互行為繁多，且僅基于灰度圖的圖像分割。2004年Rother等人提出了GrabCut算法[11]，此算法只需用戶繪出目標的矩陣框選取前景范圍，不需標記背景種子點。通過建立高斯混合模型得到能量函數中的區域項，并求取像素點間的顏色歐氏距離獲得邊界項從而建立能量函數。此方法在精度上得到了很大的提升，并且減少了標記交互行為。但是由于采用了EM算法[12]反復迭代更新模型中的參數，所以計算速度較慢，并不適用于實時系統中。且其仍然需要人工標記種子點作為分割條件，并非圖像的自動分割。

2.1.1? 在HSV顏色空間下的靜態閾值提取

此系統首先通過靜態閾值提取手指及倒影的像素種子點，在顏色空間的選擇上，經過實驗，相比于RGB顏色空間，HSV空間可以更直觀地表達圖像色彩的鮮艷程度和明亮度，更好地體現出不同顏色之間的差值。所以此系統選擇在HSV顏色空間下進行閾值提取。如圖4所示，是在實驗環境中采集的一張含有手指觸屏的圖像，可以看到，目標像素點在H和S分量上均有較好聚集性。

隨后關鍵的是能否找到合適的閾值空間提取手指及倒影種子點，通過采集了不同實驗環境和不同光照條件下的1 000張手指觸屏圖像，應用GrabCut經典圖像分割算法對手指及倒影部分進行人工標記分割，統計其在HSV顏色空間下的像素分布，經過多次實驗，在HSV顏色空間中選擇的閾值區間為H[0，32]、S[0，145]、V[155，255]。隨后對于處理后得到的二值圖像進行連通域分析，找到最大的連通域默認為手指的前景種子區域，并對連通域外界矩陣框提取出的手指部分像素點作為可能的前景目標種子點，對手指外界矩陣框進行擴充，并將擴充后的矩陣框作為接下來圖論分割方法的初始圖像。這樣做的目的就是為了提高分割效率，將大部分的圖片背景部分消除，大大節省了計算時間，同時保留部分背景像素點作為接下來圖割的背景種子，保留了背景特征，保證了手指及倒影分割的精確度。

2.1.2? 基于圖論的手指及倒影分割

經過上一步通過靜態閾值提取的方法得到了手指及其倒影連通域的外接擴充矩陣框，對于此矩陣框將連通域中的像素點作為前景種子，將外接矩陣框的擴充部分作為背景種子點，這樣避免了以往類似GrabCut算法中過于煩冗的人工標記部分，從而實現自動分割。

隨后根據得到的前景種子和背景種子點對外接擴充矩陣框內的圖像進行圖論圖像分割，根據手指顏色分布集中，形狀單一的特點，建立能量函數（1）：

其中E1表示標記前景和背景種子點的區域項，節點i，j ∈ v表示圖像上的像素點，xi表示該節點所分配的標簽。因為手指和倒影的顏色單一，所以此算法舍棄了傳統圖論算法中非種子點到源點S和終點T的邊權重計算，僅僅加入前景和背景種子點歸屬權重，這樣可以大大加快計算速度，提高分割效率。

式（2）表示能量函數中的E1能量項，其中F和B分別表示前景和背景種子點集合，MAX為自定義的一個極大參數，i為圖像中的遍歷像素點。當該節點為前景種子節點時，該節點與源點S的邊值為一個極大值，而與終點T的邊值為0。此時該節點與終點T之間的能量更小，越容易被分割開來，從而歸屬到前景部分。反之當該節點為背景種子點時，該節點與源點S的邊值為0，而與終點T的邊值為一個極大值，此時該節點與源點S之間邊的能量更小，越會被與前景分割開來，歸屬到背景部分。

式（3）表示能量函數中的E2能量項，其中i，j ∈ u表示圖像中的像素點集合，旨在約束相鄰節點之間的邊值權重。其邊值的計算為相鄰節點i、j在HSV顏色空間下個個分量的差值，當兩個相鄰節點之間的色差越大，相鄰節點之間的邊值就越小，E2的返回值越小，從而能量函數越貼近最優解，也代表兩個相鄰節點之間越容易被分割開來。相反當相鄰節點的色值很貼近，相鄰節點之間的邊值就越大，E2的返回值也就越大，兩個相鄰節點之間越不容易被分割開，其屬于同一前景/背景的概率也就越大。

建立完能量函數后，通過最大流/最小割算法對能量函數進行求解，將攝像頭捕獲到的手指和手指倒影進行精準分割。經過圖論分割前后的手指提取效果對比如圖5所示。

2.2? 判定手指觸屏/懸停條件

隨后系統對于上一步分割后的手指及倒影圖像進行輪廓提取來判斷二者指尖之間的距離。首先對分割后的圖像進行輪廓提取，計算各個輪廓的面積并對其進行升序排序，將面積最大的輪廓判定為手指輪廓，將第二大的輪廓判定為屏幕中的手指倒影輪廓。提取到這兩個輪廓之后，繪出輪廓對應的矩陣框，通過計算矩陣框Y軸坐標判斷是否為觸碰狀態，若為懸停狀態，倒影的矩陣框的h值加上矩陣左上角點的Y坐標應該小于手指矩陣框的左上點Y坐標。以此為判斷依據確定手指的觸屏狀態。隨后通過遍歷手指在X軸上的左右輪廓差大小來判定指尖的位置，也就是說在Y軸遍歷同一行右邊緣減去左邊緣的結果，當結果最小的時候，將其左右輪廓像素點之間的中點判定為指尖，從而確定觸碰點。如圖6所示，為觸碰狀態和懸停狀態的檢測效果，其中粉色圓點為觸碰/懸停點。

2.3? 手指觸屏位置的確定

在判斷了手指是否觸碰到屏幕之后，接下來就是檢測手指觸屏位置從而代替鼠標光標進行交互操作。此系統應用單應性變換，首先通過校準獲得攝像頭拍到的觸碰點的坐標和現實點擊屏幕的觸碰點坐標，隨后通過已知信息求出二者的線性關系，也就是Homography（單應性矩陣）。單應性矩陣是一種平面單應性矩陣，在三軸坐標中，類似于Z = 1的齊次坐標。為了保證所求單應性矩陣的穩健性，此系統在校準環節通過9個校準點輸入觸點坐標，隨后通過RANSAC算法排除校準點中出現的外點問題，確保每個校準點的圖像坐標和屏幕坐標滿足相同的線性關系，排除校準環節中的誤判點對于單應性變換的影響。通過RANSAC算法優化單應性后，即可完成圖像坐標到屏幕坐標的映射了，從而控制鼠標光標進行操作，即達成整個指尖觸控系統的實現。

3? 實驗結果及分析

筆記本攝像頭在不同實驗條件下經過平面鏡的反射捕捉到的手指及手指倒影與屏幕的圖像如圖7所示，其中矩陣框代表當前捕獲的手指或手指倒影區域，圓點為當前判定的觸點或懸停點。

為了驗證系統在不同實驗環境下的表現，通過增加兩種干擾因素，分別為光照強度的干擾和復雜屏幕背景的干擾，并通過調整干擾強度來檢測系統的運行情況。具體結果如表1所示，可以看到當沒有光照和屏幕干擾的實驗環境下，系統的識別準確率較高，且每秒能處理30幀圖像，實時性較好。當光照強度改變，且加入復雜背景的情況下，系統的識別準確率相比之下會降低，但是也能滿足基本的觸屏識別。

接下來對系統進行消融實驗，測試文中的手指及倒影的檢測分割方法對于系統是否有提升效果。實驗結果如表2所示。

通過消融實驗的結果可以看出，僅基于靜態閾值的手指分割方法雖然計算速度較快，但是準確率卻大大降低，而僅基于圖論的手指分割計算效率過慢，不能達成系統實時運行的目的。結合閾值和圖論的手指分割方法剛好綜合解決了這兩個問題，在保證實時運行的前提下，也有較好的準確率。

最后通過此指尖觸控系統進行實際應用，如圖8所示。結果證明此指尖觸控系統在實際應用中表現效果較好，通過觸控的交互方式更加靈活便捷，證實了其實際應用的可行性。

4? 結? 論

本文研究了一種基于圖割算法的低成本指尖觸控系統，通過手指在屏幕上會產生倒影的特性，提出了一種結合閾值和圖論的手指自動檢測分割方法，對攝像頭捕獲的手指觸屏行為進行識別。從系統實驗結果來看，此系統對于復雜背景和正常光照環境下的辨別效果較好，由于去除了能量函數中區域項像素點歸屬的計算，大大提高了運行效率，滿足實時檢測的要求。但是本系統仍然存有不足，系統對光照變換的抗干擾能力不強，因為光照會改變手指部分返回的色值，對檢測手指存在影響，并且在個別類膚色的背景下也存在誤判的情況，有待進一步提高。

參考文獻：

[1] 李貝.基于Kinect的手勢識別與多指手交互研究 [D].武漢：武漢科技大學，2018.

[2] 于霄洋.基于深度信息的手指交互技術研究 [D].北京：北方工業大學，2021.

[3] LIANG C，YU C，QIN Y，et al. DualRing： Enabling Subtle and Expressive Hand Interaction with Dual IMU Rings [J].Proceedings of the ACM on Interactive，Mobile，Wearable and Ubiquitous Technologies，2021，5（3）：1-27.

[4] 伍杰.基于視覺的實時手勢識別方法研究 [D].大連：大連理工大學，2019.

[5] 童欣.一種基于OpenCV的手勢輪廓識別與指尖定位跟蹤方法 [J].福建電腦，2018，34（12）：96-97+109.

[6] 李森.一種基于投影-攝像系統的投影觸摸板關鍵技術研究 [D].北京：清華大學，2018.

[7] TSAI T-H，HUANG C-C，ZHANG K-L. Design of Hand Gesture Recognition System for Human-Computer Interaction [J].Multimedia Tools and Applications，2020，79：5989-6007.

[8] 劉碩.閾值分割技術發展現狀綜述 [J].科技創新與應用，2020（24）：129-130.

[9] BOYKOV Y Y，JOLLY M-P. Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images [C]//Proceedings Eighth IEEE International Conference on Computer Vision.ICCV 2001.Vancouver：IEEE，2001：105-112.

[10] BOYKOV Y，KOLMOGOROV V. An Experimental Comparison of Min-Cut/Max-Flow Algorithms for Energy Minimization in Vision [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26（9）：1124-1137.

[11] ROTHER C，KOLMOGOROV V，BLAKE A. “GrabCut” Interactive Foreground Extraction Using Iterated Graph Cuts [J].ACM Transactions on Graphics （TOG），2004，23（3）：309-314.

[12] 陶葉輝，趙壽為.基于改進EM算法的高斯混合模型圖像聚類方法 [J].軟件導刊，2022，21（12）：182-186.