?

基于聯邦特征學習的多機型低劑量CT重建算法

2024-03-18 11:31陳世宣邊兆英馬建華
南方醫科大學學報 2024年2期
關鍵詞:偽影投影客戶端

陳世宣,曾 棟,邊兆英,馬建華

南方醫科大學生物醫學工程學院//廣州市醫用放射成像與檢測技術重點實驗室,廣東 廣州510515

X射線計算機斷層成像(CT)在臨床上的應用日漸廣泛,為疾病的早期診斷和治療提供重要手段[1]。然而,因CT高輻射劑量危害,在CT掃描過程中患者易面臨潛在的致癌風險[2]。通過執行低劑量掃描協議可以降低CT掃描過程中的輻射劑量,其中低劑量掃描協議包括降低通過X射線球管的電流、使用稀疏的投影視角掃描以及采用不完全采樣角掃描。然而,執行低劑量的掃描協議,會在重建圖像中引入額外的偽影,從而導致嚴重的圖像質量退化,如low-mAs協議下較大的噪聲偽影[3],稀疏的投影視角掃描協議下的條紋偽影[4]和不完全采樣角掃描協議下的結構信息丟失[5],進而影響診斷效率。因此,如何在盡可能降低CT輻射劑量的同時保證圖像診斷質量,是一個研究熱點。

近年來,隨著計算能力的提高和深度學習技術迅猛發展,基于深度學習技術的智能重建算法亦被廣泛研究。得益于深度學習強勁的處理復雜模型和參數學習能力,在適當的網絡拓撲結構下,智能重建算法可以彌補傳統迭代重建算法的許多不足,有望實現圖像質量和輻射劑量之間的平衡?;谏疃葘W習技術的智能重建算法進一步可分為:基于數據驅動的智能重建算法和基于數據-模型耦合驅動的智能重建算法。具體地,基于數據驅動的智能重建算法[6-11]主要采用大量數據訓練智能重建網絡,比如Zhu等[6]提出基于數據流形的CT圖像智能重建算法(簡稱AUTOMAP),使用多個完全連接層模擬從探測數據域到圖像域的流形映射,實現端到端CT圖像重建;He等[7]提出的基于Radon反演框架的CT圖像智能重建算法(簡稱iRadonMAP),使用深度學習網絡模塊化Radon 反演過程,實現低劑量CT 優質重建;Kang等[8]提出的基于小波變換框架的CT圖像智能重建算法,基于定向小波變換提取偽影的分量,并利用波段內和波段間的相關性有效去除低劑量CT圖像噪聲;Wang等[9]提出的基于迭代框架的CT圖像智能重建算法,通過估計并迭代消除噪聲中的高頻細節,并通過常規網絡處理低頻細節以大幅度提升CT圖像質量;基于數據-模型耦合驅動的智能重建算法通常將迭代重建算法優化框架與深度學習網絡框架結合起來[12-15],比如He等[12]提出的基于交替方向乘子法(ADMM)優化算法框架的CT圖像智能重建算法,可自適應學習模型參數并重建優質圖像;Adker等[13]提出的基于Bayesian優化算法框架的CT圖像智能重建算法,通過使用新損失函數訓練帶微型判別器的WGAN以大幅度抑制圖像噪聲偽影。Li等[14]提出采用高斯混合模型緩解不同CT掃描協議對深度重建造成的擾動。

這些基于深度學習的方法取得了優異的性能,代表了CT重建算法的發展趨勢。然而,深度學習重建網絡模型需要基于特定的CT數據構建,如在特定的機型成像幾何及掃描協議下掃描獲取的CT數據。而不同CT機型獲取的數據異質性顯著,原因在于:不同CT機型核心關鍵硬件(如球管,探測器,準直器等)性能差異;不同掃描協議下獲取的數據噪聲分布差異;不同解剖結構表征差異。這些局限性因素導致網絡模型的泛化能力較差,在這種情況下,將模型遷移至新機型成像幾何與掃描協議的數據下時,需要額外訓練,這增加了時間和算力成本。針對該不足,Xia等[16]提出一種成像幾何參數依賴的智能重建算法,增強了深度學習網絡模型對多種成像幾何CT數據重建的重建性能。然而,需要指出的是,大量的CT數據通常屬于多個機構,這些數據的收集過程通常涉及隱私保護問題,從而導致數據無法自由獲取,特別是雙域重建算法,針對機型成像幾何特異性,難以同時適用不同機型的圖像重建。受到這些問題的限制,僅在單個端點的局部數據上訓練出魯棒有效的模型難度較大。

聯邦學習(FL)是一種多端點協作訓練框架,旨在保護跨端點的數據隱私,并允許模型從多源數據中學習信息,從而進一步提高深度學習模型的性能[17,18]。聯邦學習框架可以解決醫學成像中涉及的隱私保護問題[19]。但是基于聯邦學習框架構建的多端點協作CT重建算法,仍然是一個有待填補的空缺。因此,受本研究團隊先前工作的啟發,本文提出了一種基于聯邦特征學習的多機型低劑量CT重建算法(FedCT),該重建算法的特征在于:(1)是一種端到端的智能重建算法,在每個局部客戶端中,基于數據-解析模型耦合驅動的Radon反演智能重建模型將投影數據重建為圖像數據[7];(2)投影域特異性學習,在每一輪聯邦訓練中,FedCT只對圖像域的網絡模型參數進行聚合,而保留投影域的網絡模型參數作為局部特異性部分;(3)構建特征泛化網絡,每個局部客戶端根據局部數據特征生成條件特征向量,并在局部的訓練的過程中作為輸入以優化網絡模型,提升全局網絡模型的泛化性。

1 資料和方法

1.1 數據-解析模型耦合驅動的Radon反變換智能重建模型[7]

在平行束CT重建中,對于任意二維物體f(u,v)的Radon變換可表示為[20]:

其中,pθ(s)表示物體在圖像空間中點(u,v)處的衰減值投影,s為探測器單元的位置,φ是投影角度,δ(·)是狄拉克函數。將該范式離散化可表示為:

在這里p∈RN·M表示離散化的投影數據,N表示探測器單元數,M表示投影角數,μ∈RJ表示待重建目標,J為待重建的像素個數,A∈RN·M×J為投影矩陣。那么離散化的Radon反變換重建可以寫為:

其中(AT A)-1對應于濾波反投影重建算法的濾波過程,AT則是反投影矩陣。此外,為了增強CT重建圖像的質量,通常會進一步地對重建圖像進行后處理[20]。

以上重建過程可以通過數據-解析模型耦合驅動的Radon 反變換近似(iRadonMAP)。通常情況下,iRadonMAP中首先設置有一個投影域的神經網絡,用于對待重建的投影數據進行濾波:

其中(i,j)表示空間點的坐標,φm表示第m個投影向量對應的旋轉角度,INT表示最近鄰插值。將式(5)以反投影算子R-1簡化表示,那么包含圖像后處理的iRadonMAP重建可以表示為:

圖1 本文提出的FedCT總體框架示意圖Fig.1 Schematic framework of the proposed FedCT.

其中,μ*是正常劑量CT圖像。在諸如有限角度和稀疏角度的掃描協議下,配對的正常劑量投影數據亦是可獲取的,因此,可以進一步的引入投影域損失以約束投影域的網絡參數,此時優化目標可以改寫為:

其中,p*是正常劑量掃描協議下的投影數據。

1.2 聯邦學習

聯邦學習框架下的協作訓練通常由數個客戶端和一個中心服務器完成。在經典的聯邦學習算法FedAvg[18]中,每個客戶端中的局部網絡模型在執行一定次數的迭代優化后,將網絡模型參數上傳到中心服務器進行聚合:

其中t∈T為訓練輪次,tθ為第t輪的訓練時的網絡模型參數,K為參與聯邦學習的客戶端數,nk為局部客戶端的數據量,n=為總數據量。在接收并聚合來自各個局部客戶端的網絡模型參數后,中心服務器會將聚合后的網絡模型參數分發給所有的局部客戶端作為新一輪訓練的網絡模型參數,因此,在FedAvg算法中,優化目標可以寫為:

其中Dk為局部數據分布,Lk為局部損失函數。

1.3 基于聯邦特征學習的多機型低劑量CT重建算法

1.3.1 特征泛化網絡 多個客戶端的數據由于機型成像幾何、掃描協議的不同,彼此間具有強異質性。為了緩解聯邦學習過程中,因為這種異質性導致的網絡模型鄰域漂移[21,22]問題,本文為iRadonMAP額外構建了一個特征泛化網絡,通過編碼局部機型成像幾何和掃描協議在圖像域的擾動,對齊不同客戶端的數據特征分布,以提升網絡模型的全局泛化能力。具體的,每個客戶端根據局部CT機型成像幾何和掃描協議生成一個條件特征向量ρ,其定義如下:

其中g表示CT成像幾何參數[16],G表示CT掃描協議,A為解剖部位指示參數,關于g、G、A的詳細設置見表2。如圖2所示,在FedCT框架下,iRadonMAP中設置有一個特征泛化網絡[23],這個特征泛化網絡在訓練的過程中,將客戶端生成的特征參數向量ρ作為輸入,并將其編碼為高維向量:

圖2 FedCT框架下,客戶端構建的局部網絡模型結構示意圖,中心服務器僅聚合綠色框內的模型參數Fig.2 Schematic architecture of the local model constructed for the client in the FedCT framework,with the central server aggregating only the model parameters in the green box.

其中θC表示特征泛化網絡的參數,υ1,υ2為維數與網絡通道數相等的高維向量,之后,高維向量被饋入iRadonMAP的圖像域網絡,并以線性的方式對網絡的高維特征圖進行調制[24],以對齊局部特征分布:

其中f是網絡中間層的特征圖,是經特征泛化網絡調制后的特征圖。

1.3.2 投影域特異性學習 在CT成像過程中,不同機型成像幾何下掃描的投影數據具有較大的異質性,其最直接的體現是,當投影角度和探測器單元數發生變化時,投影數據的大小尺寸也會發生變化,此外,表2中其他參數和掃描協議的變化所引起的擾動難以在投影數據中直接觀察到??紤]到這些因素,采用通用的投影域網絡對所有客戶端的投影數據進行近似濾波是不合適的。因此,本文提出了投影域特異性學習策略。如圖1所示,在協作學習過程中,每個局部客戶端的投影域網絡被設置為特異性保留部分(紅色部分),圖像域網絡連同1.3.1 節所述的特征泛化網絡被設置為共享部分(綠色部分),在每輪學習訓練中,局部客戶端在執行設定數量的局部迭代優化后,僅將圖像域網絡和特征泛化網絡的參數上傳至中心服務器進行聚合,而中心服務器則不會訪問局部客戶端投影域網絡的任何參數,在這種策略下,參數聚合可以寫為:

因為CT重建網絡模型的訓練是項耗時耗費計算資源的工作,每輪訓練中在對將所有的局部客戶端的數據輸入網絡模型執行迭代優化是非常困難的,本文將nk優化為在每輪訓練中局部執行的迭代優化次數,則為總迭代次數。結合1.31節所提出的特征泛化網絡,投影域特異性學習策略下的FedCT框架的總優化目標可以寫為:

其中λk為投影損失控制參數,在有配對投影數據時為1,否則為0?;谔卣鞣夯W絡和投影特異性學習策略,我們在表1中給出了FedCT框架下構建重建模型的完整流程。

表1 FedCT框架下重建模型構建流程Tab.3 Workflow of the reconstruction model under FedCT framework

1.4 實驗數據

1.4.1 數據集構建 為驗證所提出FedCT方法在多端點協作學習的重建性能,本文基于來自5家醫療機構的不同機型不同掃描協議的CT數據進行實驗。其中數據集#1來自地方附屬醫院#1的30例病人的腦灌注數據,采集設備為GE Discovery CT 750 HD,管電流設置為100 mAs,管電壓設置為80 kVp,層厚為5 mm,共19 694層數據;數據集#2來自地方附屬醫院#2的616次胸部掃描數據,采集設備為Philips MX 16-slice Brilliance CT,管電流設置為220 mAs,管電壓設置為120 kVp,層厚為5 mm,共30 226層數據;數據集#3來自地方附屬醫院#3的29 例病人的胸腹部掃描數據,采集設備為GE LightSpeed16,管電流設置為280 mAs,管電壓設置為140 kVp,層厚為5 mm,共23 237層數據;數據集#4來自地方附屬醫院#4的39例病人的腹部掃描數據,采集設備為SIEMENS Emotion 16,管電流設置為240 mAs,管電壓設置為110 kVp,層厚為5 mm,共18 398層數據;數據集#5來自當地醫學影像中心對人體密度模型的3次胸部掃描數據,采集設備為GE Discovery CT 750 HD,管電流設置為400 mAs,管電壓設置為120 kVp,層厚為0.625、1.25、2.5 mm,共8778層數據。所有病人均簽訂了臨床研究知情協議。

1.4.2 數據仿真 本文基于Astra工具包[25]仿真獲取不同機型成像幾何及掃描協議下的投影數據,并通過在模擬的投影數據中加入泊松噪聲模擬量子噪聲[26]進行模擬不同光子量下的低管電流協議下的低劑量數據、通過對投影數據進行等距采樣模擬稀疏角度協議下的低劑量數據以及通過降低仿真掃描角模擬有限角度協議下的低劑量數據。為了驗證FedCT不同情形下的泛化能力,本文設置兩種實驗條件,在每種實驗條件下設置3個客戶端:(1)對數據集#1、2、3進行低管電流協議下的仿真,并設置了不同的光子量以模擬多種劑量情形,該實驗條件旨在驗證FedCT在不同機型成像幾何情況下的泛化能力;(2)對數據集#4、3、5分別進行低管電流協議、稀疏角度協議以及有限角度協議的模擬,實驗條件(2)是在實驗條件(1)的基礎上,進一步地驗證FedCT在不同機型及不同掃描協議下的泛化能力。表2詳細給出了每組數據集的仿真參數。

表2 各個局部數據集的實驗仿真參數Tab.3 Experimental simulation parameters for each localized dataset

1.5 網絡結構

FedCT的局部網絡模型基于iRadonMAP構建,并對其進行了適應性改動。

1.5.1 投影域網絡 如圖2紅色框內所示,投影域網絡的前端由兩個包含歸一化層和激活函數層的卷積塊構成,卷積核大小為1×3,這兩個卷積塊沿角度方向從輸入的投影數據中提取高維特征,之后是兩個由通道注意卷積殘差塊[27]構成的濾波單元,卷積核大小同樣為1×3,這兩個殘差塊近似了傳統重建中的濾波操作,最后兩個卷積塊則將濾波后高維度的特征圖合并回單通道的投影數據以饋入反投影層,執行反投影操作。

1.5.2 圖像域網絡 如圖2綠色框下方所示,圖像域網絡前端的是兩個與投影域網絡類似的卷積塊,卷積核大小為3×3,從經反投影層轉換后的圖像域數據提取空間域特征,之后是4個由空間注意力卷積殘差塊構成的圖像增強單元[28],卷積核大小為3×3,這4個增強單元在空間域進一步恢復并細化丟失的空間結構信息,每個單元輸出的高維特征圖均被饋入特征泛化網絡,經調制后再輸入下一個增強單元。網絡的最后是兩個卷積塊將特征圖合并為最終的重建圖像。

1.5.3 特征泛化網絡 如圖2灰色框內所示,特征泛化網絡由8個共享參數的全連接層將條件特征向量映射至與圖像增強單元輸出的特征圖相同通道,并在每個圖像增強單元之后,根據公式13調制特征圖,增強網絡模型在多源數據下的泛化性。

1.6 實驗設置

在本項工作中,實驗條件(1)下,所有客戶端的λk均設置為0,即各個局部客戶端都沒有配對的投影數據,局部迭代次數均設置為100,學習輪次設置為100,初始學習率設置為1×10-3,每10個輪次學習率遞減1/2。實驗條件(2)下,在數據集#4、3、5對應的客戶端中,λk設置為0、1、1,并且基于數據2仿真的投影數據(即稀疏角度數據)在輸入重建網絡模型前會執行雙線性插值操作,以升采樣至正常投影數據尺寸。局部迭代次數均設置為10,學習輪次設置為1000,學習率固定為2×10-5。所有的網絡模型是基于pytorch框架[29]構建,均由Adam優化器優化,批處理參數設置為1,使用4塊擁有48G內存的NVIDIARTXA6000圖像處理單元(GPU)訓練。

1.7 評估指標

為了定量評價所提出算法的性能,本文使用峰值信噪比(PSNR),結構相似性指數(SSIM)和均方根誤差(RMSE)對重建圖像進行定量分析。其中PSNR 常用于測量最大信號和背景噪聲強度的比值,PSNR 值越大,表示重建的圖像失真越小,圖像中噪聲去除效果越明顯。SSIM基于亮度,對比度,結構對噪聲圖像和真值圖像進行相似性度量,SSIM越接近于1,表示重建圖像與真值相似度更高。RMSE則是衡量重建圖像與真值的偏差程度,RMSE越小,重建圖像的偏差越小。

1.8 對比方法

為了驗證所提出的FedCT 的性能,本文將傳統的濾波反投影方法(FBP),在局部單源數據集下訓練的基線iRadonMAP,以及3 種經典的聯邦學習算法:FedAvg[18],通過在局部模型增加近端項緩解域偏移的FedProx[30],和在局部進行批歸一化保持局部特異的FedBN[31]。所有聯邦學習算法的局部客戶端采用與FedCT相同的網絡結構,所有的實驗設置均保持一致。

2 結果

2.1 實驗條件(1):多機型幾何重建結果分析

圖3給出了實驗條件(1)下,FedCT和比較方法在3個客戶端數據測試集下的重建結果,并在每個結果的右下角給出了感興趣區域的局部放大圖像(具體位置由真值圖像的紅框處標出),以及在右上角給出了重建結果與真值圖像計算的圖像評估指標??蛻舳?1-3的重建結果顯示窗分別為:[-100,150],[-200,200],[-200,200],其對應的感興趣區域的放大圖像的顯示窗分別為:[-30,110],[-150,150],[-150,150]。如圖3第2列FBP的重建結果所示,由于劑量的降低,FBP的重建結果相比起真值圖像,出現了不同程度的噪聲偽影,這些偽影覆蓋了部分結構細節,嚴重影響了整體觀感。在各對比方法中,作為基線模型的iRadonMAP是基于局部客戶端數據構建的,因此,在對應的測試集上具有很好地擬合能力,如圖3 第3 列的重建結果所示,局部構建的iRadonMAP能夠去除大部分的噪聲,恢復一定的結構細節,并且獲得了較好的評估指標。圖3第4至第6列展示了作為比較的3種聯邦學習方法的重建結果,可以觀察到,在FedAvg和FedBN重建結果中紅色箭頭所指示的地方,出現了額外的重建偽影,并且FedAvg的重建結果出現了明顯的CT值偏移現象,如圖3最后1列所示,FedCT在不同成像幾何數據下均有很好的擬合能力,其重建結果中未出現其他聯邦學習方法的重建結果中所出現的額外偽影或CT值偏移等性能退化現象,能夠很好地去除掉因低劑量產生的噪聲偽影,并準確地復原出丟失的結構細節信息。

圖3 FedCT及各比較方法在實驗條件(1)下的結果Fig.3 Reconstruction results by FedCT and each comparison method under experimental condition (1).Rows 1,2,and 3 show the reconstruction results of each method on Client#1,#2,and#3,respectively.The bottom right shows the region of interest(ROI)marked by the red square on the reference image.The top left displays the evaluation metrics of the reconstruction results.

在表3中給出了在實驗條件(1)下各方法在測試集上的圖像評估指標,可以看到,FedCT在所有對比聯邦學習方法中,獲得了最高的PSNR(43.8646、36.0195、38.6092,高于次優的聯邦學習方法+2.8048、+2.7301、+2.7263)、最高的SSIM指標(0.9814、0.9268、0.9653,高于次優的聯邦學習方法+0.0009、+0.0165、+0.0131)以及最低的RMSE指標(1.6815、4.2177,3.4218,低于次優的對比聯邦學習方法-0.6687、-1.5956、-0.9962)。在局部數據集上,FedCT取得的定量指標能夠逼近并部分優于基于局部數據構建的局部模型所獲得的指標(FedCT相對局部模型的PSNR指標:-1.1189、+0.3758、+1.9631,SSIM 指標:-0.0044、+0.0030、+0.0011,RMSE 指標:+0.2232、-0.1736、-0.6944)。

表3 實驗條件(1)中不同方法在各個客戶端測試集的PSNR,SSIM和RMSE定量評估結果Tab.3 Quantitative metrics results for PSNR,SSIM and RMSE in experimental condition(1)for each Client

圖4給出了各方法在圖3真值圖像處由紅色線標注突變區域的剖線圖。剖線圖結果顯示,FedCT相較于對比聯邦學習方法,提供了更精確的重建結果,并與基于局部數據構建的iRadonMAP擬合程度相當。

圖4 各方法在圖3真值圖像處由紅色線標注突變區域的剖線圖Fig.4 Profiles of each method at the Truth image of Fig.3 with mutated regions labeled by the red lines.(A),(B),and(C)are the results for Clients#1,#2,#3,respectively.

2.2 實驗條件(2):多協議重建結果分析

圖5給出了實驗條件(2)下,FedCT和比較方法在3個客戶端測試集下的重建結果,并在每個結果的右下角給出了感興趣區域的局部放大圖像(具體位置由真值圖像的紅框處標出),以及在右上角給出了重建結果與真值圖像計算的評估指標??蛻舳?1-3的結果的重建顯示窗分別為:[-200,200],[-200,200],[-1000,500],其對應的感興趣區域的放大圖像的顯示窗分別為:[-150,150],[-150,150],[-1000,500]。圖5的第1行客戶端#1對應的是超低劑量掃描協議下的重建結果,與實驗條件(1)下的情形類似,對于因低光子量引起的噪聲偽影,傳統FBP算法的重建結果中有非常嚴重的噪聲,丟失了大量結構細節,基于低劑量數據訓練iRadonMAP可以去除大部分的噪聲,提升重建圖像質量,三種對比聯邦學習方法雖然能去除一定的噪聲,但是也在重建結果中引入了額外的重建偽影和CT值偏移,從而導致觀感不佳。FedCT則能去除大部分的噪聲偽影,并沒有出現其他聯邦學習方法因數據異質性引起的重建質量退化現象。圖5第2行客戶端#2對應的是稀疏角度掃描協議下的重建結果。因為采樣不足,傳統FBP算法的重建結果中出現了較多的放射狀條形偽影?;谙∈杞嵌葏f議數據訓練的iRadonMAP能夠去除一定的條形偽影,但其重建結果在邊緣處仍然殘留有一些偽影。3種對比聯邦學習方法的重建結果中有明顯的條形偽影殘留,并且如紅色箭頭處所示,FedAvg及FedBN的重建結果中引入了嚴重的環形偽影,導致圖像質量大幅下降,FedCT的重建結果中沒有出現任何額外重建偽影,并且去除了絕大部分的條形偽影,擁有良好的視覺觀感。圖5第3行客戶端#3對應的是有限角度掃描協議下的重建結果。在不完全的采樣角下,FBP算法的重建結果出現嚴重的結構缺失和形狀畸變?;谟邢藿嵌葏f議數據構建的iRadonMAP具有良好的結構恢復能力,并復原出部分缺失的信息。3種對比聯邦學習則沒有很好的結構恢復能力,其重建結果仍然存在結構缺失和形狀畸變。FedCT則能恢復完整的缺失結構,并復原出一定的丟失信息。本文在參考圖像中選取了一個30×30像素的感興趣區域,并繪制了其法向量圖[12]以進一步地展示FedCT的結構恢復能力。綜合以上結果可以看出,在實驗條件(2)中,FedCT展現出了良好的泛化性和局部特異性,能夠很好地提升在不同掃描協議的低劑量數據下的重建性能(圖6)。

圖5 FedCT及各比較方法在實驗條件(2)下的結果Fig.5 Reconstruction results by FedCT and each comparison method under experimental condition (2).Rows 1,2,and 3 show the reconstruction results of each method on Client#1,#2,and#3,respectively.The bottom right shows the region of interest(ROI)marked by the red square on the reference image,and the top left displays the evaluation metrics of the reconstruction results.

圖6 FedCT及各比較方法在實驗條件(2)的客戶端#3下(即有限角度協議)的重建結果Fig.6 Reconstruction results of FedCT and each of the comparison methods under Cient #3 (limited-angle protocol) of experimental condition(2).A 30×30 pixel region is selected in the reconstruction results and the corresponding normal vector flow(NVF)is plotted below the reconstruction results(the closer the NVF is to the reference,the better is the reconstruction performance).

2.3 消融實驗

所有消融實驗的訓練和測試都是在實驗條件(1)下完成的,與表3共用一個測試集。圖7給出了FedCT及對照網絡模型在實驗條件(1)測試集上PSNR和RMSE的箱線圖,其對應的下四分位數(Q1)、上四分位數(Q3)以及四分位距(IQR)于表4給出??梢钥吹?,FedAvg-Proj在測試集上的評估指標要劣于另外兩種對照版本的FedAvg,有著更低的信噪比和更高的重建誤差,在客戶端#2和客戶端#3中則更為明顯,FedAvg-Img在測試集上的PSNR指標的Q1平均提升1.18,RMSE指標的Q3 平均降低1.36。FedCT 則相較各對照版本的FedAvg,在測試集上的PSNR 指標的Q1 進一步提升3.56,RMSE指標的Q3進一步降低1.80。

表4 圖7箱線圖對應的下四分位數(Q1)、上四分位數(Q3)以及四分位距(IQR)Tab.3 Lower quartile(Q1),upper quartile(Q3),and interquartile range(IQR)corresponding to the boxchart in Fig.7

圖7 FedCT及對照版本的FedAvg在實驗條件(1)測試集上PSNR和RMSE指標的箱線圖Fig.7 Boxchart of PSNR and RMSE for FedCT and the comparative versions of FedAvg on the experimental condition (1).A higher PSNR along with lower RMSE indicates better reconstruction performance.

3 討論

CT智能重建網絡模型通常是基于單站點的特定機型成像幾何及掃描協議的CT數據構建的,這難以訓練出魯棒有效的且具有強泛化性的模型。同時,獲取多個站點間的大量數據涉及的數據傳輸困難及隱私泄露問題是當今醫學影像領域智能化的共同挑戰。聯邦學習作為一種僅共享模型參數的協作學習框架,為該問題提供了很好的解決思路。然而由于多個站點間不同的CT機型成像幾何及掃描協議引起的數據異質性,會導致CT重建模型在全局數據上的表現不佳,降低協作學習的泛化性。針對該項問題,為了提供一種適用于聯邦學習的CT智能重建框架,本文提出一種基于聯邦特征學習的跨機型及掃描協議的低劑量CT 智能重建框架FedCT,該框架以數據-解析模型耦合驅動的Radon反變換智能重建模型作為局部模型,采用了投影域特異性學習策略,在局部投影域保留成像幾何特異性,并使用條件特征向量標記局部數據并饋入網絡進行編碼以在圖像域提升模型的泛化性。

本文從多機型成像幾何和多掃描協議兩個方面設計實驗驗證方法的有效性。多機型幾何重建實驗結果中,對比聯邦學習方法出現了模型性能退化的現象,其主要原因是投影域網絡對不同成像幾何下的投影數據的泛化性差,造成較大的重建誤差導致的,故一般聯邦學習算法中直接將所有的網絡模型參數上傳的聚合方式,對于雙域CT重建網絡模型是不適用的。消融實驗中,對照版本的嚴重性能退化也表明,在雙域CT重建模型中,共享投影域參數,會增大模型的重建誤差。在多協議重建實驗結果中,對比聯邦方法在不同的低劑量掃描協議數據下,不能很好地去除偽影以及恢復丟失的結構,原因在于稀疏角度協議及有限角度協議下采集的投影數據相比起其他協議采集的投影數據,具有更稀疏的衰減值信息,因此投影域具有更強的數據異質性,將投影域網絡參數進行聚合,會放大網絡重建誤差,從而導致災難性的重建質量退化。FedCT在跨站點的CT協作學習任務中具有非常好的泛化性和魯棒性,其在機型多成像幾何及掃描協議的條件下,在各個局部客戶端均獲得了良好的視覺及定量評估結果,并且FedCT能夠通過對條件特征向量編碼以對齊多個站點的CT數據間的圖像域特征,其在全局數據基礎上構建的重建模型在部分站點上的性能要優于基于局部數據構建的重建模型。綜上所述,FedCT為協作構建CT智能重建模型提供了有效解決方案,能夠在保護數據隱私的基礎上,增強模型泛化性,進一步地提升模型在全局數據上的重建性能。未來的工作將基于FedCT框架,引入更多模態的醫學影像數據,以期開發一種更通用的醫學影像智能模型協作學習框架。

猜你喜歡
偽影投影客戶端
解變分不等式的一種二次投影算法
基于最大相關熵的簇稀疏仿射投影算法
找投影
找投影
核磁共振臨床應用中常見偽影分析及應對措施
基于MR衰減校正出現的PET/MR常見偽影類型
縣級臺在突發事件報道中如何應用手機客戶端
孵化垂直頻道:新聞客戶端新策略
基于Vanconnect的智能家居瘦客戶端的設計與實現
減少頭部運動偽影及磁敏感偽影的propller技術應用價值評價
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合