全監督和弱監督圖網絡的病理圖像分割

沈熠婷，陳昭*，張清華，陳錦豪，王慶國

1.東華大學計算機科學與技術學院，上海 201620；2.上海市第一人民醫院，上海 200080

0 引言

隨著科技的進步，醫學領域成像技術也在飛速發展，數字病理圖像給病理診斷、教學帶來極大便利（Anwar 等，2018）。在癌癥的診斷和治療中，計算機輔助診斷技術和顯微病理圖像處理技術起到了重要的作用，顯微病理圖像技術可以處理常規的RGB 圖像和高光譜圖像等（Li 等，2013）。病理圖像分割技術是顯微病理圖像處理技術的重要分支，其一般指將目標區域（例如腫瘤細胞、腺體、癌巢）從背景中分離出來，進而用于癌癥分級、生存預測等下游任務。傳統的病理圖像分割是依據醫生和專家自己的經驗來確定病變區域，需要醫生手動標注，這不僅會花費大量的時間，還可能導致漏檢和誤檢。因此，自動化組織病理學圖像分析在臨床實踐中具有重要的應用價值，其可以準確地識別和定位病變區域，幫助醫生更快速、更精準地診斷和治療疾病，同時可以避免因為手工勾畫帶來的誤差和不一致性。

隨著人工智能特別是深度學習技術的快速發展，基于深度學習的圖像分割方法取得了良好的效果（Jia 等，2017；Zhu 和Li，2023）?，F有大多數深度學習網絡采用全監督學習模式，依賴于精準的標注，但是由于細粒度注釋需要經驗豐富的病理學家的高水平專業知識且標注工作費時費力，因此具有精確標注的數據集極少。同時，病理組織學圖像具有以下3 種特征，使得現有方法分割結果并不理想。1）目標和背景很難辨別，導致類間同質性；2）同一組織的數據集中，病理對象之間存在很大差異，表現出類內異質性；3）患者之間的差異與圖像特征之間的非線性關系，使得多數算法需要重新訓練才能適配新的數據集。Chen 等人（2021）引入了局部監督信息，其針對前景與背景區分度不高、病理圖像的類內異質性強的問題提出了解決方案，但是沒有很好地捕捉圖像特征之間的非線性關系，因此使仍存在較多漏檢誤檢區域和噪聲。

為了使模型能夠挖掘數據之間的非線性潛在特征，許多學者提出使用圖學習的方法來提高模型適應復雜數據圖像的能力（Kipf 和Welling，2017；Lu等，2019；Anklin 等，2021）。圖學習中的一個關鍵部分是圖網絡，包含圖結構的模型可以稱為圖網絡（Battaglia 等，2018），例如WSNTG（weakly supervised network based on tensor graphs）模型（Zhang 和Chen，2022）、BASGCN（backtrackless aligned-spatial graph convolutional network）模型（Bai 等，2022）。針對病理圖像中腺體等局部組織的識別問題，本文提出了一種新穎的基于圖網絡的分割框架，其具有全監督和弱監督兩種訓練模式。

本文主要貢獻如下：1）框架可根據不同數據集的人工標注量和精度需求靈活轉換為全監督圖網絡模式（full supervised graph network，FSGNet）或弱監督圖網絡模式（weakly supervised graph network，WSGNet）；2）將弱監督語義分割轉化為超像素分類問題，在少量點注釋的情況下有效地處理病理圖像，期望將病理學家從繁重的注釋工作中解放出來；3）所提出的框架利用圖卷積網絡（graph convolutional network，GCN）來處理組織病理學圖像中的不規則形態，能夠準確分割不同的組織。實驗結果表明，所提框架可以從多種染色方式的數據集成功分割出不同組織，分割精度優于多種經典和先進方法，弱監督模式的評價指標不僅能超過其他弱監督算法，還能超過一些全監督算法。

1 相關工作

1.1 全監督病理組織圖像分割

全監督分割方法是指通過像素級標簽數據來訓練分割模型。全卷積網絡（fully convolutional network，FCN）（Long等，2015）、U-Net（Ronneberger等，2015）等分割網絡在精細刻畫邊緣方面具有很強的優勢。

在病理圖像分割領域，Long 等人（2015）首次提出的FCN 是一個能進行端到端像素預測的網絡。Chen等人（2016）基于FCN結構提出一個高效的深度輪廓感知網絡，利用輔助監督和輔助損失函數來進一步提升模型對中間特征的判別能力。Gunesli等人（2020）引入了自適應機制，提出一種新的基于自適應的多注意力學習模型，為FCN 引入了一種新的損失調整機制，用于組織病理圖像中腺體實例的分割。為了進一步提高模型的預測效率，Ronneberger 等人（2015）提出了U-Net結構，在上采樣之間加入跳躍連接，將高層抽象特征和底層細節圖像特征進行結合，在一定程度上彌補了FCN 的不足，是醫學病理圖像上一個里程碑式的工作。Zhou等人（2020）設計嵌套結構并重新設計了跳躍連接，提出U-Net++。Lu等人（2019）提出了Graph-FCN模型，首次將圖卷積網絡應用于圖像語義分割任務，利用GCN 的結構特點擴大感受野和接受野，避免局部位置信息的丟失。Zhang等人（2021）提出FGNet（fully convolutional and graph convolutional networks），通過動態超像素操作將FCN和圖卷積網絡連接起來，使模型可以自動分割病理圖像。

基于全監督的病理圖像分割模型訓練時需要大量的像素級標簽數據，而這些數據需要經驗豐富的醫生或病理專家才能進行注釋，現有符合上述條件的數據集較少。學者們提出了眾多辦法來減少模型對大量像素級標注數據的依賴，基于弱監督的病理圖像分割方法是可行途徑之一。

1.2 弱監督病理組織圖像分割

弱監督是指提供的一些先驗知識，但這些先驗知識遠少于完成任務所需要的信息。在基于弱監督的圖像任務中，圖像具有部分監督標簽信息，但又不像全監督那樣精準。在病理圖像分割任務中，基于弱監督的方法逐漸成為一種流行，常見的弱監督信息包括圖像級標簽（Ahn 等，2019）、邊框標簽（Yang等，2018）和點標簽（Bearman等，2016）等。

Bearman 等人（2016）采用點標簽的方式來訓練語義分割網絡，引入物體性約束來避免優化少數已標記像素時陷入局部最優。Qu 等人（2020）用新型弱監督細胞核分割方法，首次將點標簽應用到細胞核分割問題。Zhao 和Yin（2021）提出一種基于弱監督端到端的細胞分割網絡，研究了利用點標注訓練網絡的3種訓練方案。Kipf 和Welling（2017）提出一種可擴展的弱監督學習圖結構數據的方法，使用圖結構表示不規則數據，使網絡能夠表示遠程上下文信息。Anklin 等人（2021）用基于圖的弱監督分割方法，利用不精確和不完整注釋分割任意圖像，用圖節點描繪組織區域，學習圖形節點的上下文特征。

弱監督算法極大地緩解了全監督算法像素級標簽數據不足的問題。但由于病理圖像的復雜性，弱監督模型的泛化性和魯棒性還有待進一步加強。

2 方 法

2.1 整體框架

為適應不同數據集的標注量和精度需求，本文提出了一個靈活的框架，在具有像素級標簽的數據樣本且對精度要求較高時，以全監督模式進行訓練，如圖1（a）所示；在樣本只有稀疏點標簽時，以弱監督模式學習病理圖像信息并訓練分割網絡，如圖 1（b）所示。全監督模型FSGNet由主干網絡和圖網絡GCN 組成。主干網絡為編碼—解碼器，用于提取病理圖像深層特征，實現病理組織分割；GCN 可以處理任意結構的數據，通過對病理圖像構建拓撲圖來學習圖像的非線性結構，能夠更好地表示病理組織的不規則形態，提高整個網絡的性能，有助于提升病理圖像分割的精度。弱監督模型WSGNet 將語義分割問題轉化為超像素分類問題，以弱監督的方式訓練模型。同時使用GCN 進行圖拉普拉斯正則化，提升模型的魯棒性和泛化性，降低過擬合風險，在標注量不足時也有出色的表現。

圖1 整體框架（淺色代表前景，深色代表背景）Fig.1 The scheme of framework（light colour stands for foreground and dark colour for background）（（a）FSGNet，where samples have pixel-level labels；（b）WSGNet，where samples only require sparse point labels）

2.2 基于圖網絡的全監督分割模式

FSGNet 將圖像輸入到主干網絡中，學習其深層特征，然后用GCN 進一步學習病理組織非線性結構，提高網絡表達和泛化能力，最終將目標從背景中分割出來。該模式框架如圖2所示。

圖2 全監督模式細節示意圖Fig.2 The detail diagram of FSGNet

2.2.1 全監督主干網絡

如圖2 所示，FSGNet 使用從頭訓練的UNeXt（Valanarasu 和Patel，2022）作為全監督模式的主干網絡Ψ0，學習病理圖像深層特征，實現病理組織分割。UNeXt 是一種基于卷積多層感知器（multilayer perceptron，MLP）的圖像分割網絡，是一種編碼器—解碼器體系的網絡，適用于FSGNet通過分割掩膜回歸來實現病理圖像分割，其結構如圖3所示。

圖3 全監督區域分割主干網絡結構Fig.3 Fully supervised segmentation backbone framework

通過UNeXt 提取病理圖像特征的流程如下：用X∈RW×H×3表示一幅病理圖像，其中W和H分別代表寬度和高度。輸入的病理圖像首先通過編碼器，編碼器前3 個是卷積塊，后2 個是Tok-MLP，每個編碼器卷積塊將特征分辨率降低為之前的1/2。然后再通過解碼器，解碼器有2 個Tok-MLP 和3 個卷積塊，每個解碼器塊將特征分辨率提高2 倍。UNeXt中的每個卷積塊都有一個卷積層、一個批量歸一化層和ReLU（rectified linear unit）激活層，不同編碼器或解碼器之間還存在池化層或上采樣層。為了保證卷積輸出特征大小與輸入大小相同，本文對輸入圖像或特征使用邊緣填充0 的方法。輸出特征為F=[f1，f2，…，fi，…，fI]T∈RI×C，其中i是病理圖像中單個像素索引，I為像素總數（I=WH），C為特征通道數，本文中C=1。卷積層能聚合像素周圍局部信息，使網絡獲取局部區域特征。

UNeXt 采用MLP 模塊，以有效標記和投影卷積特征，使其能更專注于學習局部依賴關系。UNeXt比U-Net（Ronneberger 等，2015）參數量更少，計算復雜度更低，有更好的圖像分割性能。

2.2.2 圖卷積網絡

將UNeXt 提取的特征輸入GCN，進一步學習病理組織的不規則結構，并進行病理組織分割。GCN是一種從數據的拓撲圖中提取信息的神經網絡，可以捕獲上下文信息。拓撲圖易于表達高維流形特征和非線性關系，適用于表征醫學病理圖像中形態不規則的組織（唐朝生 等，2021）。本文將其用于病理圖像分割。通過使用圖拉普拉斯正則化項促使整個網絡學習相鄰節點的相似特征（Smola 和Kondor，2003），有效聚集相似節點，提高模型的泛化能力。本算法的GCN 采用一跳（one-hop）鄰域圖G={V，E}，其中，V表示頂點的集合，E是邊的集合，每個頂點與其最近1 個相鄰節點相連接，若一對頂點p，q∈V之間存在邊(p，q)，則(p，q) ∈E?(p，q) ∈E。節點之間的連接關系由鄰階矩陣A定義，式中1 表示兩個節點存在邊，0 表示兩個節點不存在邊。將圖輸入GCN，如圖4 所示，在每一層聚合一跳鄰域的信息，第l+1 層的輸出特征表示為

式中，σ為非線性函數（如ReLU 函數），θl是第l層可訓練權重矩陣，Zl為第l層輸出是A的對稱歸一化（Kipf 和Welling，2017）。FSGNet使用主干網絡編碼器最終輸出特征作為頂點，按照上述方法構建拓撲圖，即令并輸入GCN。

2.2.3 全監督目標函數及最優化

FSGNet 的損失函數包含兩部分：主干網絡分割損失和圖網絡正則化項。主干網絡UNeXt 使用二元交叉熵（binary cross entropy，BCE）和Dice 系數之和作為損失函數進行訓練。由于圖像分割可視為前景和背景二分類，故主干網絡目標函數包含二分類損失函數BCE，并用Dice 系數表示真實區域和預測區域的相似性和重疊程度。通過最小化這兩個損失函數之和，使模型更準確地學習病變區域的位置和形狀。主干網絡的損失函數定義為

式中，yi為該像素真實標簽為模型對該像素的預測值。二元交叉熵損失函數定義為

式中，I為像素總數。Dice損失定義為

基于GCN的圖拉普拉斯正則化項定義為

式中，yg是GCN 輸出，Ag是圖鄰接矩陣。由此，FSGNet損失函數為

式中，λ為圖拉普拉斯正則化項平衡因子，本文將其設置為0.3。采用隨機梯度下降（stochastic gradient descent，SGD）實現FSGNet 參數最優化（Richie 等，2023）。

2.3 基于圖網絡的弱監督分割模式

FSGNet 需要使用像素級標簽的數據集進行訓練，對病理圖像進行精準的語義分割；當對精度要求不高且標簽數據不足時，本文提出基于圖網絡的弱監督模式（WSGNet），將病理圖像語義分割轉化為超像素二分類的問題。該模式框架如圖5 所示。在WSGNet 中，首先將數據集中的病理圖像進行超像素分割，再將超像素分割后的圖像輸入弱監督主干網絡，學習超像素層級化特征并訓練分類模型，使用GCN 對超像素層級化特征進行拉普拉斯正則化，提升WSGNet的魯棒性和泛化性。

圖5 弱監督模式細節示意圖Fig.5 The detail diagram of WSGNet

2.3.1 點標簽生成超像素標簽

為了對病理圖像進行預處理，將原本對圖像的點標簽變成對圖像超像素的標簽。超像素利用局部空間相似性能夠大幅度降低后續處理的計算復雜度。本文使用SLIC（simple linear iterative clustering）（Achanta 等，2012），其具有出色的效率和邊界粘附性，可以更快更好地表征病理組織輪廓。點標簽的語義信息可以擴散到整個超像素區域，從而生成超像素標簽。這種擴散操作有助于減少像素級標注的工作量，可以使用極少的點標簽來對完成對病理圖像的分割，并提供對超像素級別的語義信息，將后續對圖像的語義分割轉變為對超像素的分類。使用SLIC將病理圖像X分割成超像素其中，M是超像素的數量。為了獲得超像素標簽其中，ML是帶有標簽的超像素的數量，采用眾數投票機制，以出現次數最高的標簽作為該超像素的標簽；如果某個超像素沒有包含任何點標簽，則將該超像素標簽記為空。

圖6 展示了一幅病理圖像的稀疏點標簽及其通過SLIC 算法過分割生成的超像素。其中，黑邊表示超像素輪廓，深色和淺色分別表示通過稀疏點標簽生成的目標類超像素和背景類超像素。

圖6 稀疏點標簽以及超像素輪廓和標簽Fig.6 Sparse point labels and superpixel contours and labels（（a）sparse point labels；（b）superpixel contours and labels）

2.3.2 弱監督主干網絡

預處理完成后，為了得到圖像特征，WSGNet 使用在ImageNet（Russakovsky 等，2015）上進行預訓練的VGG-16（Visual Geometry Group）（Simonyan 和Zisserman，2015）模型，并在此基礎上進行一些改進，作為弱監督模式提取病理圖像特征的主干網絡Ψ1，如圖5所示。

由于VGG-16 是一個較深的神經網絡模型，因此能夠學習更復雜的特征表示，有助于識別目標的邊緣和紋理等細節，從而提高模型的表達能力和學習能力，更適用于處理病理圖像這種復雜的任務。其沒有編碼器的結構，因此無法做語義分割，但適用于WSGNet 通過超像素分類來實現分割的任務。除此之外，VGG-16 網絡中的卷積層參數是共享的，可以減少模型的參數量，提高模型的效率。本文將VGG-16 最后的1 × 1 全連接層去掉，并改進了后續的池化層，增加了雙線性插值方法，將每個卷積層的特征圖輸出到與Xn相同大小，使該網絡能接受任意大小的圖像輸入。主干網絡Ψ1的輸入為一幅病理圖像X∈RW×H×3，經過Ψ1后得到所有卷積層輸出的特征圖其中，Lconv是主干網絡中的卷積層數為第l層的特征圖。

2.3.3 層級特征圖網絡

為了高效實現弱監督分割，本文對原始圖像進行超像素分割，將目標和背景分割問題轉換為所有超像素分類問題，如圖2 所示。本文使用層級化特征表示超像素特征（Zhang 和Chen，2022），使用多尺度訓練和推理，對目標進行隨機縮放，獲得對目標尺寸差異的魯棒性。首先將主干網絡Ψ1中獲得的每個卷積層的特征圖通過雙線性插值算法上采樣到與Xn相同的大小。接下來串聯起所有的特征圖得到fh。通過將超級像素的輪廓疊加在fh上，并對每個超級像素內的像素的深層特征進行平均，產生了超級像素的深層特征fm。但此時所有卷積層特征圖的維度過大，執行效率低，本文使用MLPΨ2非線性映射降低其維數，降維后的特征即為超級像素Sm的層級化特征hm，hm的特征維度遠小于fh的維度。如圖5 所示，與全監督FSGNet 類似，弱監督WSGNet 將超像素層級化特征hm輸入GCN，進一步學習其中的非線性結構，GCN的構造如圖4所示。

2.3.4 層級特征圖網絡

除了將超像素層級化特征hm輸入GCN，WSGNet 還將其輸入分類器Ψ3，預測各超級像素Sm的類別（病理目標或背景），即=Ψ3(hm)。超像素分類損失函數為

式中，ym為每個超級像素Sm的真實類別為每個超級像素Sm的預測類別，?m是處理類別不平衡的類別特定類別權重，g(?)是交叉熵損失。

同2.2 節，為了提高模型的表征能力，WSGNet將GCN 學習得到的圖拉普拉斯（式（7））作為正則項加入總損失，得到聯合分類損失函數。具體為

采 用SGD 實 現WSGNet 參數最優化（Richie 等，2023）。

3 實驗與分析

本節介紹并分析了多個先進算法在3 個組織病理學數據集上的實驗結果，以證明FSGNet 和WSGNet的有效性和普遍性。

3.1 數據集

本文通過4 個病理圖像數據集來評估提出模型以及多種對比算法模型的性能。

1）公開的腺體分割挑戰數據集GlaS（Gland Segmentation Challenge Dataset）（Sirinukunwattana 等，2017），包括165 幅病理組織圖像，來自16 幅蘇木精和伊紅（hematoxylin and eosin，H＆E）染色T3 或T4期結直腸腺癌病理的組織學全切片，由蔡司MIRAX MIDI 全切片掃描儀掃描而成。其訓練集和測試集的比例為85∶80，數據格式為位圖（BMP），大部分病理圖像尺寸為775 × 522 像素。數據集中每個全切片來自不同的病人，因此，該數據集在染色分布和組織結構等方面都具有較高的差異性。GlaS數據集根據組織學等級和視野進行分層，將測試集分為A 部分（60幅圖像）和B部分（20幅圖像）。

2）公開的結腸直腸腺癌數據集CRAG（colorectal adenocarcinoma gland）（Graham 等，2019），包 含213 幅放大20 倍的H&E 染色的大腸腺癌圖像，大部分病理圖像為1 512 × 1 516 像素，其訓練集和測試集的比例為173∶40，圖像格式為PNG（portable network graphics），每幅圖像都具有完備的實例級標簽。CRAG 數據集取自用Omnyx VL120 掃描儀掃描的38個H＆E染色的全切片，其每個像素大小為0.55 μm，示例圖像如圖7所示。

圖7 在GlaS，CRAG及LUSC數據集上分割效果Fig.7 Segmentation performance on the GlaS，CRAG and LUSC datasets

3）私有的肺鱗狀細胞癌數據集，LUSC（lung squamous cell carcinoma）。該數據集由合作公司中國上海組織病理診斷中心（Histo）提供，包含110 幅免疫組化染色的PD-L1 圖像，其訓練集和測試集的比例為70∶40，圖像格式為PNG。該數據集來自4幅染色全切片，其使用KF-PRO-120數字切片掃描儀在40 倍物鏡放大倍率進行掃描獲取，每幅病理圖像均為1 000 × 1 000像素，示例圖像如圖7所示。

4）公開的多維膽管癌數據集MDC（multidimensional choledoch）（Sun 等，2022），包含538 個場景，具有用于二進制MHSI（medical hyperspectral imaging）分割任務的高質量標簽，這些MHSI 由具有20倍物鏡的高光譜系統收集，MDC 的波長從550 nm到1 000 nm。每個場景產生60 個光譜帶。該數據集的單波段圖像的大小都被調整為256 × 320 像素。使用以患者為中心的硬分割方法將數據集劃分為訓練集和驗證集，比例為3∶1，圖像格式為hdr 和img。每個患者的數據都被完全分配到3 個集合中的某個集合，以確保同一患者的數據不會出現在多個集合中，示例圖像如圖8所示。

圖8 由UMAP方法對FSGNet和WSGNet所學習到的特征進行可視化Fig.8 Visualization of the features learned by UMAP on FSGNet and WSGNet

3.2 實驗設置

3.2.1 對比算法模型和評價指標

將FSGNet 算法模型與完全監督模型FCN-8（Long 等，2015）、U-Net（Ronneberger 等，2015）、UNeXt（Valanarasu 和Patel，2022）以 及YAMU（yet another modified U-Net）（Samanta 和Singhal，2022）進行比較；將WSGNet 模型與最近提出的弱監督模型MICRANet（microscopy analysis network）（Bilodeau等，2022）、WESUP（weakly-supervised framework）（Chen等，2021）、CDWS（constrained deep weak supervision）（Jia 等，2017）和SizeLoss（Kervadec 等，2019）進行比較。另外，還使用MDC 數據集來進一步證明本文所提模型不僅在RGB 圖像上表現出色，在高光譜圖像上也表現出良好的性能。使用整體像素級分類精度（overall accuracy，OA）和Dice 指數（Dice index，DI）作為模型分割性能評價指標，記錄每個模型運行3 次得到的平均結果指標。OA 和DI 指標以百分比的形式記錄，得分越高，代表模型性能越好。所有算法模型都由PyTorch框架編程實現，并運行在64 GB內存且GPU配置為NVIDIA GeForce RTX 3090的機器上。

3.2.2 弱監督點標簽信息生成

本文模仿病理專家在實踐中的做法為數據集產生弱監督標簽。首先，從每幅訓練圖像的像素級標簽中識別出目標和背景。然后，在目標和背景中隨機選擇少量的標簽來形成稀疏點標簽集，本文的點標簽比例為0.001%。在弱監督實驗中，GlaS、CRAG、LUSC 和MDC 四個數據集的點標簽量分別約為20 點/樣本、35 點/樣本、25 點/樣本和64 點/樣本。其余弱監督配置與對比方法論文中描述一致。

3.2.3 超參數設置

在輸入模型之前，每個輸入樣本都經過模糊、顏色抖動和翻轉等數據增強處理。在弱監督訓練中，對于多尺度訓練和推理，GlaS、CRAG、LUSC 和MDC的縮放因子范圍分別設置為［0.35，0.47］、［0.2，0.3］、［0.4，0.6］、［0.4，0.6］。對于SLIC 算法的設置，本文將每個超級像素的面積大小設定為約300像素，緊湊度參數設定為40。對于SGD 優化（Richie等，2023），動量設置為0.9，權重衰減為0.001，小批量大小為1，初始學習率為0.001，每次評估10 個輪次，對于每一次評估，如果整體損失沒有減少，則學習率減半。這個過程持續進行，直到總體損失完全停止下降或學習率達到0.000 01。各對比算法超參已根據原文調至最優，WESUP 每個超像素的面積設定約為50 個像素，SizeLoss 初始學習率為0.000 5，CDWS 和全監督的對比算法與本論文設置一致。

3.3 定量分析

在相同條件下，在3 個數據集上對幾種先進的全監督和弱監督對比方法進行測試實驗。其定量指標對比如表1 所示，定性評價如圖7 所示。FSGNet在3 個不同的數據集下都取得了最好的效果。通過比較UNeXt及FSGNet 模型的指標參數，發現添加了GCN 的FSGNet 指標 均高于UNeXt。且FSGNet 在面對不同數據集時性能差異不大，證明加入GCN 能使得模型在3 個不同的病理圖像數據集上有更強的魯棒性、更廣的泛化性以及更好的性能表現，WSGNet表現出優于其他弱監督模型的性能，這說明主干網絡提取的層次特征有良好的表示能力和用超像素過分割策略的優越性能。不僅如此，僅使用稀疏點標記的WSGNet 的分割精度超過了使用全監督的FCN-8 模型。本文所提框架可以適應不同應用場景，FSGNet 使用像素級標簽的數據集進行訓練精準分割病理圖像目標和背景，WSGNet 適用于標記數據不足的情況。

表1 在GlaS、CRAG及LUSC數據集上的性能Table 1 Performance on the GlaS，CRAG and LUSC datasets /%

3.4 定性分析

圖7為預測分割樣例。FSGNet能夠更加完整地分割樣例，更準確預測樣本目標中心區域，漏檢和誤檢的情況更少。證明FSGNet 能夠更好地生成預測分割圖，并且能夠有效處理復雜區域并減少中心漏檢問題的發生。如 圖7 所示，CDWS，SizeLoss 和MICRANet 三個模型在分割效果上表現不佳，很難準確分割出癌變區域。Wesup 模型在預測分割圖時能夠大致捕捉到目標區域的輪廓，但仍存在較多漏檢誤檢區域和噪聲。相比之下，WSGNet 模型的預測分割圖能夠準確地分割出目標區域，很少出現漏檢情況，并且能夠減少誤檢噪聲，具有更好的魯棒性和泛化性。從圖7 還能看出，經弱監督模型學習后，超像素特征的類別區分性更強，說明弱監督圖網絡比全監督圖網絡更為魯棒。

圖8 是使用UMAP（uniform manifold approximation and projection）的方法對數據集的圖像特征進行可視化的結果。其中，圖8（a）（c）（e）（g）（i）（k）是隨機選取數據集中的圖像得到的特征可視化結果，圖8（b）（d）（f）是經過FSGNet 訓練得到的特征可視化結果，圖8（h）（j）（l）是經過WSGNet訓練得到的特征可視化結果。圖8 中，淺色代表前景超像素，深色代表背景超像素。由于病理組織具有嚴重的類間同質性和類內異質性，同時還存在背景雜質、染色深淺不一等問題，因此在初始未進行訓練時，不同標簽的超像素樣本特征混合分布。而經過FSGNet和WSGNet模型訓練后，同類超像素特征聚在一起，不同類超像素特征相隔間距較大，說明提出框架能夠有效區分目標和背景，從而識別病理組織區域。

3.5 消融實驗

為了分析模型架構的有效性，在GlaS、CRAG 和LUSC三個數據集上完成了一系列消融實驗，結果如表2—表4 所示。首先，比較FSGNet 采用不同的損失函數在性能上的差異。發現FSGNet 的損失函數除去任意一項都會使模型分割性能降低。其次，比較使用不同主干網絡的模型在性能上的差異。發現FSGNet 和WSGNet 在替換主干網絡后，模型性能大幅度下降。最后，凍結了GCN 模塊，發現FSGNet 和WSGNet的OA 和DI評價指標都有一定程度下降（尤其是DI），這是因為GCN 能夠更好地學習病理組織的不規則形態，有助于提高分割性能。由于監督信息的增加，全監督模式的WSGNet 得到了更加優秀的分割結果。弱監督模式中只有少量引導標簽可用，要求網絡具備更強大的表達能力以捕捉數據中的非線性特征和細微變化。相比之下，全監督模式在數據集相對簡單且標簽充分的情況下，引入非線性的作用不明顯，所以FSGNet 在沒有GCN 的情況下，在GlaS A中的表現更好。

表2 FSGNet采用不同損失函數的性能對比Table 2 Performance comparison of different loss functions in FSGNet%

表3 不同算法運行時間對比Table 3 Comparison of running time with different algorithms/s

表4 主干網絡和圖網絡的消融實驗Table 4 Ablation experiments of backbone and GCN%

3.6 泛化性分析

將本文算法與Yun 等人（2023）提出的Dual-Stream-MHSI 算法在高光譜數據集MDC 上進行比較，其定量指標對比如表5 所示，定性指標對比如圖9 所示。Dual-Stream-MHSI 采用DI 作為評價指標。從表5 可知，本文所提的全監督模式在相同標注量情況下DI 指標超過Dual-Stream-MHSI 算法2.8%，這是因為Dual-Stream-MHSI 依賴于CP（candecomp/parafac）分解，該技術主要用于挖掘低秩特征，所以在語義分割任務表現不如圖學習。從圖9 可知，本文提出的全監督模式能夠得到更優秀的分割結果，弱監督模式能在只含有極少數量的點標簽且MDC數據集波段多的情況下表現良好。除此之外，發現拓撲圖學習能表達數據隱藏的非線性結構，不受淺層形態特征限制，能夠表達豐富的病理圖像信息，具有較強的泛化性。

表5 本文算法與Dual-Stream-MHSI在MDC數據集的性能對比Table 5 Comparison of performance on MDC dataset between Dual-Stream-MHSI and ours

圖9 在MDC數據集上分割效果Fig.9 Segmentation performance on the MDC dataset

3.7 收斂性分析

如 圖10 所 示，FSGNet 和WSGNet 在 不同 數據集中的損失值隨著輪次的增加而減小直至平穩；其DI 值隨著輪次的增加而增加直至平穩。這兩者都得到較好的收斂效果，證明本文所提框架的有效性。

圖10 FSGNet和WSGNet在不同數據集上的表現Fig.10 Performance of FSGNet and WSGNet on different datasets（（a）loss curves of FSGNet；（b）DI curves of FSGNet；（c）loss curves of WSGNet；（d）DI curves of WSGNet）

3.8 超參數分析

在3 個數據集上，對式（8）中的正則化項平衡因子進行超參數分析，并記錄FSGNet 在驗證集中DI指標的變化，結果如圖11所示。

圖11 FSGNet的超參數分析Fig.11 Hyperparameters analysis of FSGNet

FSGNet使用GCN 進行正則化時，發現隨著圖正則化系數因子的增加，驗證集中的DI 指標呈現一定規律。當正則化系數因子等于0 時，DI 指標達到最小值；而當正則化系數因子等于0.3時，DI指標達到最大值。這表明添加正則化項，可以提高分割性能。然而，當正則化項稀疏因子過大時，會降低主干網絡特征的重要性，影響特征的豐富性，導致性能下降。因此，本文中將正則化系數因子設置為0.3，以達到最佳性能。

4 結論

針對精細標注的病理圖像非常稀缺，且病理組織具有類間同質性和類內異質性，圖像特征之間具有復雜的非線性關系，本文提出了一種新穎的病理圖像區域分割框架，包括全監督和弱監督兩種模式，可以根據不同標注量的數據集和不同應用場景的精度需求靈活切換監督模式。通過GCN 來學習病理圖像中組織的不規則形態。FSGNet 能達到更高的分割精度，WSGNet 通過稀疏點標簽將語義分割轉化為超像素分類問題，實現精細分割。正如本文實驗所證明，提出的框架在各種數據集上學習效率高，表現出較好的泛化性和魯棒性，兩種模式取得的實驗結果均優于多種先進的算法。但本文提出的全監督模式在處理簡單數據集上GCN 表現略有不足，主要是簡單數據集對網絡的要求更低，對此將在后續工作中進一步研究和改進，區分模型對簡單和復雜數據集的處理方式。