深度學習圖像識別輔助原子力顯微鏡單細胞力學特性精準高效探測*

呂曉龍 李密

（1）中國科學院沈陽自動化研究所，機器人學國家重點實驗室，沈陽 110016；2）中國科學院機器人與智能制造創新研究院，沈陽 110169；3）沈陽工業大學人工智能學院，沈陽 110870）

單細胞力學特性分析為揭示調控生命活動及疾病發生發展過程的內在規律提供了新的可能。細胞是生命活動的基本結構單元和功能單元，目前人類對細胞生理行為及特性的認知主要基于傳統生化實驗群體平均研究方法［1］，即對培養皿/試管中的全體細胞進行測量并假定所得到的全體細胞行為活動的平均結果可代表該群體中的典型細胞行為［2］。群體平均研究方法的不足之處是其掩蓋了細胞間的差異以及群體中可能存在的少數亞群細胞所具有的顯著獨特生理行為［3-4］。細胞之間的異質性（heterogeneity）是細胞動態生命活動過程（如信號轉導、轉錄和細胞命運決定等［5］）的普遍特征［6］，即使是形態完全一樣的克隆細胞之間在基因表達以及刺激響應等方面也存在著差異［7］，導致細胞間異質性的原因可能包括基因突變、表觀遺傳修飾、隨機基因表達、局部微環境差異等［8-9］，但目前對于這些機制的認知還很不足。特別是，越來越多的證據表明，細胞異質性在人類疾病發生發展及演變過程中起著關鍵性的作用，如腫瘤內癌細胞之間的異質性驅動腫瘤進化［10］并進而增強腫瘤對藥物的抵抗能力［11］，給癌癥臨床診療帶來了極大挑戰［12］。因此，生命科學領域研究者日益認識到開展單細胞探測研究有助于揭示生命活動奧秘以及癌癥等重大疾病的精準診療［13］。另一方面，力學特性在生理病理活動過程中（如干細胞分化［14］、腫瘤發生發展［15］等）起著重要調控作用。細胞通過表面蛋白質分子（如整合素、離子通道等）來感知細胞外微環境中的力學因素，并通過力學傳導機制將其轉化為生化信號以觸發下游細胞響應進而調控細胞生理功能［16-17］。與此同時，細胞在其生命活動過程中也會動態改變微環境的力學特性（如黏彈特性［18］）。細胞與微環境之間的相互作用通常會導致細胞力學特性的動態變化，特別是在疾病發生及演變過程中（如腫瘤形成及轉移［19］）通常會伴隨著細胞力學特性的顯著獨特變化，因而細胞力學特性也被認為是癌癥的重要物理特征［20］。因此，開展單細胞力學特性探測研究對于生命健康領域具有廣泛而重要的基礎意義。

原子力顯微鏡（atomic force microscope，AFM）的出現為單細胞力學特性研究提供了強大工具。AFM利用壓電陶瓷管驅動一根自由端集成有一個極細針尖的微型懸臂梁在水平面內對樣本表面進行光柵式掃描，同時利用一束激光照射到懸臂梁背面并反射至四象限位置敏感探測器（position sensitivity detector，PSD）來感知掃描過程中針尖表面原子與樣本表面原子之間的相互作用，并進一步通過信號處理與反饋電路控制壓電陶瓷管在垂直方向運動以維持針尖與樣本之間相互作用力的恒定，在這個過程中記錄壓電陶瓷管在水平面內每個采樣點上的垂直方向位置變化即得到樣本表面形貌三維圖像［21］。AFM具有納米級的空間分辨率（0.5~1 nm）和皮牛級的力感知靈敏度（10~104pN）［22］，不僅可以直接在生理環境下（37℃，5% CO2，培養基溶液）對無任何預處理的活體狀態細胞的精細結構進行成像［23］，還可以在力譜模式下通過控制探針在細胞表面進行壓痕（indentation）實驗以對細胞多種力學特性（如楊氏模量、黏性系數、細胞間黏附力、細胞表面分子結合力等［24］）進行定量測量。AFM已成為單細胞力學特性探測的重要研究方法，促進了力學生物學（mechanobiology）領域的研究進展［25-27］。然而，現有AFM單細胞力學特性探測實驗嚴重依賴人工，如操作員需要在光學顯微視覺導引下人工控制AFM探針移動至合適位置以使探針準確地對細胞特定區域進行壓痕實驗并獲取力曲線，待測量完成后需要人工控制探針對下一個細胞進行測量，導致實驗效率極其低下。特別是長時間實驗容易導致操作員疲勞進而影響人工控制精度。此外，在人工控制AFM探針移動至細胞表面后，由于探針懸臂梁對視線的遮擋，往往難以準確判斷探針針尖是否移動至目標區域。針對該問題，本課題組在之前的研究中曾經提出了結合光學圖像識別和AFM的單細胞力學特性快速測量方法［28］，實現了對單個細胞中心區域力學特性的快速測量。本文在之前的研究基礎上，進一步實現了單個游離態細胞表面不同區域（中心和邊緣）力學特性以及聚團生長細胞力學特性的精準快速測量，本研究工作對于AFM在生命科學領域的實際應用具有積極意義。

1 材料與方法

1.1 細胞培養

本實驗所用的HEK 293（人胚胎腎細胞）和HGC-27（人未分化胃癌細胞）細胞購自中國科學院細胞庫（上海）。細胞培養基（DMEM高糖培養基和RPMI-1640）和磷酸鹽緩沖液（PBS）購自上海典瑞生物科技有限公司，胎牛血清購自美國Thermo Fisher公司，青霉素-鏈霉素溶液購自美國Hyclone公司。HEK 293細胞在含有10%胎牛血清和1%的青霉素-鏈霉素的DMEM高糖培養基中培養，HGC-27細胞在含有10%胎牛血清和1%的青霉素-鏈霉素的RPMI-1640中培養。兩種細胞均接種在50 ml細胞培養瓶（廣州潔特生物有限公司）中，并置于細胞培養箱（美國Thermo Fisher公司）中培養（37℃，5% CO2，95%空氣）。實驗前需要將細胞從細胞培養瓶中傳代至35 mm細胞培養皿（廣州潔特生物有限公司）中，并培養24 h以上。

1.2 AFM實驗及微球探針制作

本文采用的AFM為美國Bruker公司生產的JPK NanoWizard型AFM，該AFM搭建在一臺日本Nikon公司生產的Eclipse Ti-U型光學倒置顯微鏡上（圖1a）。AFM細胞力學特性測量實驗在細胞培養基中進行。實驗所采用的AFM探針型號為美國Bruker公司的MLCT-C，探針材料為氮化硅，探針懸臂梁彈性系數為0.01 N/m。在光學顯微鏡導引下利用AFM微操作將單個聚苯乙烯微球（購自天津市倍思樂色譜技術開發中心）黏附至MLCT-C懸臂梁上制成微球探針［28-29］。簡單來說，首先將微球溶液（微球直徑20 μm）滴至干凈載玻片的一端，并在載玻片的另一端表面將AB膠（購自美國3M公司）以1∶1均勻混合。緊接著，在光學顯微鏡導引下控制AFM探針輕輕接觸膠水后立即控制AFM探針回退，并進而控制沾有膠水的探針接觸載玻片表面的單個微球并保持接觸狀態3 min（接觸時間過短會導致在探針回退過程中微球容易從懸臂梁脫落）。隨后控制AFM探針回退，并將制作好的微球探針置于探針盒中室溫保存12 h后即可用于實驗。分別利用日本HIROX公司的正置光學顯微鏡和美國Thermo Fisher公司的掃描電子顯微鏡（SEM）對制備的微球探針進行成像，結果清晰地顯示了探針懸臂梁上黏附的單個微球（圖1a中I和II）。在進行AFM細胞壓痕實驗前，首先控制AFM微球探針在基底空白區域獲取力曲線以校正探針懸臂梁的偏轉靈敏度，并隨后利用AFM熱噪聲模塊對懸臂梁的彈性系數進行精確校正。為了使AFM測量實驗結果具有可比性，在所有細胞上獲取力曲線的參數均保持一致：探針逼近速度為2 μm/s，力曲線范圍為3 μm，探針最大加載力為2 nN。

Fig.1 Experimental platform of optical image recognition-assisted AFM for the detection of single-cell mechanical properties

1.3 光學圖像自動目標識別輔助AFM細胞力學特性探測

本文提出的光學圖像自動目標識別輔助AFM對單個細胞不同部位（邊緣區域和中心區域）力學特性進行精準快速測量的流程如圖1f所示。通過AFM搭載的光學倒置顯微鏡（圖1a）采集細胞和AFM探針的光學明場圖像（圖1b，d）。利用預先訓練好的嵌入視覺轉換器（ViT）模塊的雙UNet深度學習神經網絡模型識別出光學明場圖像中目標細胞的邊緣區域，利用預先訓練好的YOLO深度學習神經網絡模型識別出光學明場圖像中目標細胞的中心區域，獲取細胞邊緣區域和中心區域的重心坐標，并同時利用基于旋轉不變局部二進制模式（RILBP）特征的模板匹配算法識別出光學明場圖像中AFM探針微球針尖的坐標位置，進而可得到細胞特定區域（邊緣區域和中心區域）與微球針尖之間的空間位置關系。隨后將空間位置關系輸入至AFM操控軟件中，即可控制AFM探針準確移動至目標細胞特定區域并對該區域的力學特性進行測量。在對AFM探針移動范圍內所有細胞進行測量后，控制AFM探針移動至其他細胞附近，并重復上述過程。

深度學習算法的發展為醫學圖像分割帶來了巨大突破，特別是UNet已成為醫學影像領域最受歡迎的深度學習網絡架構［30］。UNet使用卷積層網絡來執行語義分割任務，其具有對稱的網絡架構，即包含1個可以從圖像中提取空間特征的編碼器（encoder）和1個可以從編碼特征中重構分割圖的解碼器（decoder）。然而，由于UNet神經網絡的結構相對簡單，能夠學習提取的特征較為有限，在復雜場景下的分割精度還有待提高。另一方面，近年來ViT以其強大的表示能力在機器視覺領域得到了廣泛關注，特別是其在很多視覺基準數據集中展現出了類似或優于卷積神經網絡和遞歸神經網絡的能力［31］。因此，本文通過將UNet網絡與ViT結合，提出了嵌入ViT模塊的雙UNet神經網絡，以實現對細胞邊緣部位的精確分割（圖2）。嵌入ViT模塊的雙UNet神經網絡由兩部分構成，第一部分是嵌入ViT模塊的深層UNet神經網絡，用于提取學習圖像中的復雜特征，第二部分是淺層UNet神經網絡，用于對第一部分網絡提取學習到的特征進行再學習，以減少模糊邊界和不確定區域，提高網絡分割精確度。嵌入ViT模塊會導致UNet網絡的深度和參數量增加，因此在原有卷積層上構建了殘差卷積網絡以防止訓練過程中出現網絡退化問題。嵌入ViT模塊的深層UNet網絡在最高分辨率層使用殘差卷積提取圖像的淺層語義信息，在其他分辨率層通過ViT模塊提取特征圖中的長距離像素關聯，以獲得圖像深層次的語義信息。嵌入ViT模塊的深層UNet網絡擁有3個輸出，分別為原始輸出分類，分類較好的部分以及分類較差的部分，其中分類較好的部分為分類正確且置信度高于0.75的區域，分類較差的部分為分類錯誤或分類正確但置信度低于0.75的區域。將3個輸出進行融合后輸入至淺層UNet網絡中，淺層UNet網絡對嵌入ViT模塊的深層UNet網絡提取的特征進行更進一步的學習，以提高網絡對細胞邊緣部分的分割精度。對照實驗結果（圖3）顯示嵌入ViT模塊的雙UNet神經網絡可有效識別細胞邊緣部位，且識別結果顯著優于UNet網絡以及嵌入ViT模塊的UNet網絡。

Fig.2 Schematic illustration of the presented dual UNet neural network with an embedded vision transformer (ViT) module

Fig.3 Comparison of cell edge recognition results

采用YOLOv7深度學習目標檢測算法來對所采集的光學明場圖像中的細胞整體進行識別。YOLO系列算法是一種代表性的單階段圖像目標檢測網絡，在實時機器視覺領域得到了廣泛應用。YOLOv7為YOLO算法家族的更新版本，通過主干特征提取網絡對輸入圖像進行特征提取得到3個不同大小的特征矩陣，并將這3個特征矩陣進行特征融合后在檢測頭生成不同大小的檢測框以對目標進行識別。YOLOv7算法已在茶樹病害檢測［32］、水下生物檢測［33］、表面裂紋缺陷檢測［34-35］等方面得到了應用。本文利用YOLOv7算法對光學明場圖像中的游離態及聚團生長的細胞中心區域進行識別。

訓練集圖像由AFM搭載的光學倒置顯微鏡（圖1a）拍攝得到，圖像大小為1 936×1 216像素。利用Labelme軟件對用于嵌入ViT模塊的雙UNet網絡訓練的圖像進行標注（圖1c，e），數據集由157張原始明場圖像及其標注圖像經過旋轉、明暗變換等一系列圖像增強操作后得到的785張圖像組成，該數據集同樣用于UNet網絡和UNet-ViT網絡以進行對照研究（圖3）。利用Labelimg軟件對用于YOLOv7網絡訓練的圖像進行標注，數據集由340張細胞圖像組成。隨后在Windows 10系統環境下，采用PyTorch框架，使用矩池云人工智能云計算平臺（浙江）對數據進行訓練。嵌入ViT模塊的雙UNet網絡和YOLOv7網絡的迭代次數均為200次，經過訓練得到的網絡模型分別用于對細胞邊緣部位和中心部位進行檢測識別。

采用基于RILBP特征的模板匹配算法對光學明場圖像中的微球探針針尖進行定位。RILBP特征是一種反映像素點間灰度值相對大小的特征，對光照強度有較好的魯棒性，通過對光學明場圖像和微球探針模板圖像（模板通過在光學明場圖像中以微球為中心截取得到）的RILBP特征圖進行匹配可以削弱實驗過程中細胞生理代謝活動導致的培養基顏色變化給圖像光強帶來的影響，提高模板匹配算法的精確度。此外，RILBP特征還具有旋轉不變性［36］，可有效避免AFM探針安裝姿態角度差對圖像模板匹配的影響。利用C++語言編寫基于RILBP的模板匹配算法程序，并調用OpenCV開源算法庫中的平方差匹配方法以完成對光學明場圖像中AFM微球探針針尖的定位。另外，為了對光學明場圖像中像素點之間的實際空間距離進行標定，在基底空白區域通過AFM操控軟件控制AFM探針移動一定距離，隨后利用模板匹配算法分別獲取探針移動前后在圖像中的坐標，即可得到像素點之間距離與實際空間距離的對應關系［28］。

1.4 數據分析

本文利用微球針尖探針對細胞力學特性進行測量，因此采用Hertz模型對獲取的力曲線進行分析以得到細胞楊氏模量［37］：

其中F為探針加載力，E為細胞楊氏模量，δ為壓痕深度，R為微球半徑，υ為細胞泊松比（通常認為活細胞為不可壓縮材料，因此υ=0.5）。探針加載力可以根據胡克定律直接從AFM記錄的力曲線中得到：

其中k為熱噪聲校正的探針懸臂梁彈性系數，x為懸臂梁偏轉量。需要指出的是，獲取的力曲線分為逼近曲線和回退曲線兩部分，Hertz模型由于不考慮探針與細胞之間的相互作用通常采用逼近曲線計算細胞楊氏模量［38-39］。根據逼近曲線上的接觸點將逼近曲線轉化為壓痕曲線后（壓電陶瓷管垂直方向位置變化量減去懸臂梁偏轉量即為壓痕深度），利用Matlab軟件（美國Mathworks公司）編寫的Hertz模型擬合程序對壓痕曲線進行擬合即得到細胞楊氏模量。

2 結果與討論

在光學圖像自動目標識別算法導引下，首先利用AFM對單個游離態細胞不同部位（邊緣區域和中心區域）的力學特性進行了測量。圖4展示了對單個HGC-27活細胞邊緣部位和中心部位力學特性進行探測的實驗流程及結果?？刂艫FM微球探針到達目標細胞附近后，獲取細胞和AFM探針的光學明場圖像（圖4a）。隨后，利用模板匹配算法識別出光學明場圖像中的AFM微球針尖位置（圖4b），并利用深度學習算法分別識別出細胞中心區域（圖4c）和邊緣區域（圖4d），在此基礎上即可自動得到微球針尖與細胞中心區域（圖4e）及細胞邊緣區域（圖4f）之間的空間位置關系。隨后即可根據空間位置關系分別將AFM探針準確移動至細胞邊緣區域（圖4g，h）和中心區域（圖4i），并分別在細胞邊緣區域（圖4j，k）和中心區域（圖4l）獲取力曲線。利用Hertz模型對獲取的力曲線進行分析即得到目標細胞邊緣區域和中心區域的楊氏模量（圖4j-l）。為了測試方法的普適性，利用所建立的方法對HEK 293活細胞進行了探測，結果清晰地顯示基于光學圖像自動目標識別技術可將AFM微球探針準確移動至HEK 293細胞的邊緣區域和中心區域并進行力學特性測量（圖5）。分別對10個HGC-27細胞和10個HEK 293細胞進行了測試，統計結果（圖6）顯示細胞中心區域的楊氏模量顯著小于邊緣區域的楊氏模量。與細胞邊緣區域相比，細胞中央區域較厚，受堅硬基底的影響（基底效應）更小，導致AFM壓痕實驗測量得到的細胞中央區域的楊氏模量較?。?0］。另外，細胞骨架與細胞力學特性密切相關，而由于在細胞生理病理過程中細胞不同部位骨架蛋白構成及排列的差異［41］，細胞不同部位通常會顯示出不同的力學特性。本文基于光學圖像自動目標識別實現了將AFM探針針尖快速準確導引至單個細胞的邊緣區域和中心區域進行力學特性測量，有助于從亞細胞尺度揭示生命活動的力學調控機制。

Fig.4 Utilizing AFM to measure the mechanical properties of different regions of a single living isolated HGC-27 cell under the guidance of optical image automatic recognition

Fig.5 Utilizing AFM to measure the mechanical properties of different regions of a single living isolated HEK 293 cell under the guidance of optical image automatic recognition

Fig.6 Statistical results and Gaussian distribution fitting results of the mechanical properties of different parts of cells measured by AFM under the guidance of optical image automatic recognition

隨后利用所建立的方法對聚團生長的細胞進行了實驗。圖7展示了對聚團生長的單個HEK 293活細胞進行探測的結果。由于細胞聚集生長后，細胞之間通過黏附分子（如鈣黏蛋白）相互連接［42］，使細胞邊緣部分受相鄰細胞的影響，因此只對聚集生長細胞的中心區域的力學特性進行了測量?？梢钥吹綗o論是低密度聚團生長細胞（圖7a），還是高密度聚團生長細胞（圖7b），深度學習圖像識別算法均可有效地從光學明場圖像中分割出單個聚團細胞（圖7a中III，圖7b中III），在此基礎上將AFM微球針尖準確導引至目標聚團細胞（圖7a中V，圖7b中V）并對細胞力學特性進行測量。圖8為對聚團生長的單個HGC-27活細胞進行探測的結果，同樣顯示了在深度學習圖像識別導引下可將AFM微球針尖準確移動至聚團生長的單個HGC-27細胞并對細胞力學特性進行測量。分別對40個聚團生長的HEK 293細胞（20個低密度聚團細胞和20個高密度聚團細胞）和35個聚團生長的HGC-27細胞（15個低密度聚團細胞和20個高密度聚團細胞）進行了測量，統計結果（圖9）顯示，隨著細胞聚集程度的增加，細胞楊氏模量呈現增加的趨勢。前人的研究結果顯示細胞間連接會影響細胞的力學特性，且這種影響與細胞類型（如細胞為癌細胞還是正常細胞，細胞為侵襲性癌細胞還是惰性癌細胞）有關［43-44］。本文結果顯示了細胞聚集程度對HGC-27細胞和HEK 293細胞力學特性的影響，然而對于造成這種影響的內在機制還需要借助生化實驗（如利用熒光顯微術對細胞骨架蛋白變化進行觀測）手段進行分析。此外，本文將光學圖像自動識別和AFM結合實現了對聚團生長細胞中單個細胞力學特性的快速測量，對于單細胞尺度探究群體細胞力學行為（如癌細胞群體遷移［45］）具有積極意義。需要指出的是，本文僅實現了對聚團生長細胞的細胞中心區域的定位，下一步利用深度學習網絡模型精準分割出聚團細胞之間的邊界［46］對于研究聚團細胞力學特性具有重要意義。

Fig.7 Measuring the mechanical properties of living clustered HEK 293 cells by AFM under the guidance of optical image automatic recognition

本文研究結果為發展高通量AFM單細胞力學特性探測方法提供了新的思路。AFM已成為生物樣本力學特性測量的標準方法［47-49］，但是其依賴人工經驗、效率低下的不足使得當前的AFM細胞探測實驗十分耗時費力［50-51］，制約了其在生命科學領域的進一步應用。本文通過將光學圖像自動目標識別算法與AFM壓痕技術結合，實現了光學明場圖像中細胞不同部位和AFM探針位置的自動定位，在此基礎上將AFM探針針尖精準導引至細胞不同部位進行力學特性測量，避免了人工經驗誤差及操作員疲勞對實驗的影響，顯著提升了AFM細胞力學特性探測實驗的效率。本方法實現了對細胞中心區域和邊緣區域的自動識別及AFM力學特性測量，揭示了細胞中心區域和邊緣區域之間力學特性的差異。然而需要指出的是，所識別的細胞中心區域和邊緣區域分別對應于細胞哪種結構仍然不清楚，下一步開展活細胞內部細胞器結構自動識別（如利用深度學習算法從光學明場圖像中自動識別出細胞核區域［52］）及在此基礎上的AFM力學特性探測對于活體狀態下亞細胞結構力學特性原位探測具有重要意義。此外，本文的方法目前還僅針對培養皿中生長的單一類型游離態細胞或聚團生長細胞，下一步發展針對不同類型細胞共培養條件下的細胞力學特性精準高效探測方法，將有助于探索力學特性在細胞與細胞之間相互作用（如癌細胞與其微環境中其他類型細胞之間的相互作用［53］）過程中的調控規律。

Fig.9 Statistical results and Gaussian distribution fitting results of the mechanical properties of clustered cells with different densities measured by AFM under the guidance of optical image automatic recognition

3 結論

本文提出了結合光學圖像自動目標識別和AFM的單個活細胞不同部位力學特性精準高效測量方法，實現了對單個游離態細胞和單個聚團生長細胞力學特性的可靠探測，顯著提升了AFM細胞力學特性探測實驗效率，對于推動AFM在生物醫學領域的實際應用、探究單細胞生理病理活動過程中的力學調控機制具有廣泛的積極意義。