利用自相似性實現醫學圖像合成的生成對抗網絡

李帥先，譚桂梅，劉汝璇，唐奇伶

（中南民族大學 生物醫學工程學院，武漢 430074）

醫學圖像在臨床診斷中起著至關重要的作用，它為醫生提供了非侵入性的方法，幫助醫生觀察和分析病人體內的內部結構，更準確地診斷疾?。?-3］.然而，由于技術、設備、成本和患者安全等因素的限制，有時并不能獲得所需的醫學圖像［4］.醫學圖像合成技術可以根據已有的圖像數據，通過計算機算法和人工智能技術生成逼真的醫學圖像，有效地解決數據不足、成本高昂等問題.

在從核磁共振成像（Magnetic Resonance Imaging，MRI）的T1 加權圖像合成T2 加權圖像中，T1 加權腦圖像可以清晰地顯示灰質和白質組織，而T2加權腦圖像可以描繪皮層組織中的流體，兩種圖像組合可以幫助醫生更準確地識別異常病變組織，更準確地診斷疾病.在從MRI 的3T 圖像合成7T 圖像中，由于3T 圖像的空間分辨率受到限制，很難觀察到較小的大腦結構，如海馬體等.但是，7T 圖像可以提供更高質量的圖像.由于7T 圖像的成本相對較高且不普及［5］，但醫學圖像合成技術可以用來生成近似于7T的高質量圖像，為醫生提供更準確、全面的診斷依據.

近年來，深度學習在醫學圖像合成領域取得了實質性的突破［6-8］.基于深度學習的圖像合成方法共享一個通用框架，該框架使用數據驅動的方法進行圖像強度映射.工作流程通常包括一個網絡訓練階段，用于學習輸入與其目標之間的映射，以及一個預測階段，用于從輸入中合成目標圖像.相比于傳統的基于地圖集、字典學習等方法，基于深度學習的方法更具有普適性，可以更好地解決醫學圖像合成問題［9］.

GAO 等［10］基于深度卷積神經網絡（Deep Convolutional Neural Networks，DCNN），即編碼器-解碼器神經網絡架構，以學習源圖像和目標圖像之間的非線性映射，實現圖像合成.LI 等［11］使用卷積神經網絡（Convolutional Neural Network，CNN）從相應的MRI 數據中估計缺失的正電子發射斷層掃描（PET）數據.QU等［12］通過在UNet網絡中加入來自空間域和小波域的互補信息，實現了從3T MRI 合成7T MRI 圖像的任務.CHARTSIAS 等［13］提出了一種用于MRI 圖像生成的網絡結構，能夠自動用現有的模態圖像還原缺失的模態圖像.ZHANG 等［14］提出了一種雙域CNN 框架，該框架分別在空間域和頻域中使用兩個并行的CNN，通過傅里葉變換相互交互，從3TMRI合成7T MRI圖像.

基于生成對抗網絡（Generative Adversarial Networks，GAN）的醫學圖像合成是近年來備受關注的研究熱點之一［15-18］.NIE 等［5］將GAN 結合自動上下文模型和全卷積神經網絡，從MRI 圖像合成CT 圖像、3T MRI 合成7T MRI 圖像.WOLTERINK 等［19］使用GAN 將低劑量CT 圖像轉換為常規劑量CT 圖像.KAWAHARA 等［20］基于具有兩個卷積神經網絡的GAN 預測框架，實現T1 加權的MRI 圖像和T2 加權的MRI 圖像的相互生成.YANG 等［21］基于循環一致性生成對抗網絡（Cycle Consistent GAN，CycleGAN）模型用于非成對的MR 圖像到CT 圖像的合成.YANG 等［22］通過利用條件生成式對抗網絡（Conditional GAN，CGAN）的深度學習模型，實現T1加權和T2加權的MRI圖像的互轉.

當前利用卷積神經網絡處理醫學圖像合成任務中，通常依靠堆疊大量卷積層來增加網絡的深度或寬度，以更好地擬合非線性關系.此外，一些網絡結構如殘差結構、U-Net 結構也被廣泛應用于醫學圖像合成，以提高性能和改善效果.然而，很少有工作專注于醫學圖像本身的特點，缺乏對其特有特征的考慮，導致網絡在深層特征提取的能力和表征方面存在不足.

醫學圖像中存在大量特征相似性較高的圖像塊.圖1呈現了不同患者的7T MRI腦圖像（Sample1、Sample2、Sample3），其中相似的圖像塊可能在同一張切片內不同位置之間（綠色框），或者在連續的切片中同一位置之間（紅色框）.醫學圖像具有自相似性特點，即重要的結構和特征在不同空間位置上以相似的方式出現.

圖1 7T MRI圖像在不同樣本下的內部切片示例Fig.1 Internal slice examples of 7T MRI images in different samples

為此，本文提出了兩種注意力塊.首先，圖結構方法可以模擬不同CT 切片之間的結構連續性和相互作用［16］.本文在圖像的連續切片下構建了以圖像塊（patch）為單位的拓撲結構，通過圖注意力捕捉醫學圖像連續切片的關聯性，使網絡在不同切片之間共享和傳遞信息，提高特征的學習能力.該方法通過圖注意力塊（Graph Attention Block，GAB）實現.其次，本文同樣構建以圖像塊為單位的全局塊注意力塊（Global Patch Attention Block，GPAB）來捕捉同切片下的非局部相似性，建立全局的相互關系，使網絡更好地理解同一切片中不同區域之間的關聯性，并通過設計一個并行的特征提取單元，該單元通過將GAB和GPAB結合，來進行深度特征提取.

與自然語言序列中的位置信息類似，圖像中不同像素之間的位置關系也可以提供重要的上下文信息（黃色框、黃線），對這些位置關系進行位置編碼可為網絡提供更多的語義信息.此外，在不同樣本下的相同位置的切片中（黃色框、紫線），也存在相似的空間結構和位置關系，通過加入位置編碼使網絡進一步提高對數據特征關系的理解和學習能力.

本文在GAN 框架下，提出了基于圖注意力塊和全局塊注意力塊的生成對抗網絡（Graph Attention Block and Global Patch Attention Block Generative Adversarial Networks，GGPA-GAN），在生成器加入GAB 和GPAB 以及二維位置編碼，豐富語義信息和提升特征表達能力，提高圖像合成的精確度.

1 方法

為了更好地實現源圖像到目標圖像的合成，本文使用生成對抗網絡作為框架進行學習.如圖2所示，GGPA-GAN由兩部分組成：生成器（G）和判別器（D）.生成器由編碼器、深層特征提取單元和解碼器組成，目的在于生成與真實目標圖像相似的合成目標圖像.判別器由卷積神經網絡和全連接層組成.判別器的任務是評估生成器生成的合成目標圖像是否與真實目標圖像足夠相似.在訓練過程中，生成器會不斷優化自己的參數，最小化其生成的圖像與真實圖像之間的差異.同時，由于判別器的存在，生成器也會受到來自判別器的反饋，不斷改進自己的生成策略，以盡可能地欺騙判別器.通過這種對抗訓練方式，生成器和判別器可以互相協作，不斷提高網絡的性能，最終生成高質量的圖像.

圖2 GGPA-GAN的內部結構Fig.2 Internal structure of GGPA-GAN

1.1 生成器網絡結構

生成器可以分為3 個階段，第一個階段是編碼階段，編碼器通過逐層的卷積操作實現下采樣來捕捉圖像不同層次的特征.第二個階段是深層特征提取階段，通過由GAB 和GPAB 構建的深層特征提取單元加強網絡對圖像特征的感知和提取.第三個階段是解碼階段，對各層特征圖進行整合后使用解碼器實現上采樣，最后經過1 × 1 的卷積進行通道降維，完成輸出.這個階段是對前面階段提取的特征進行重建和還原.生成器的結構采用了逐層提取、加強感知能力、逐層重建的策略，通過多層次的處理來捕捉圖像的不同特征，以合成高質量的圖像輸出.如圖3 所示為生成器網絡內部結構.

圖3 生成器網絡內部結構Fig.3 Internal structure of the generator network

1.1.1 編碼器與解碼器

圖4 為生成器網絡中的編碼器內部結構，編碼器包括卷積層、激活層、池化層和位置編碼.在每個卷積層中，輸入圖像會與一組內核進行卷積運算，每個內核可以捕捉圖像的局部特征，使網絡能夠有效地學習圖像的特征表示.激活層使用整流線性單元（ReLU 激活函數）為神經網絡增加非線性運算，其將負輸入替換為零，并保持正輸入不變.池化層使用最大化池化（MaxPool）用來提取特征圖中的最顯著的特征，并降低特征映射的維度.位置編碼可為網絡提供位置信息，該方法將在下文進行介紹.此外，引入殘差連接可以使網絡更容易學習恒等映射，提高網絡性能和訓練效率.該網絡使用三個卷積層（Conv1、Conv2 和Conv3）以增加網絡深度.其中，Conv1 和Conv2 是一個3 × 3 內核大小、填充為1、步長為1 的卷積層.Conv2 的卷積核數量是Conv1 的兩倍，以使特征通道數增加.通過卷積核大小為2 ×2，步長為2 的MaxPool 使特征圖大小縮小一半.本文中，編碼器和解碼器具有相同的網絡結構和層數，唯一區別在于解碼器將編碼器中的池化層替換為反卷積層，用于將低維特征圖恢復為高維特征圖.解碼器中的反卷積層使用的卷積核大小為2 × 2、步長為2.本文中的生成器網絡包含4個編碼器和4個解碼器.

圖4 生成器網絡中的編碼器內部結構Fig.4 Internal structure of the encoder in a generator network

1.1.2 深層特征提取單元

本文的深層特征提取單元位于圖3 藍色框區域.該單元將GAB 和GPAB 相結合，其中GAB 用于捕捉切片之間的相似性，而GPAB 用于捕捉切片內不同圖像塊的相似性.同時，通過引入殘差連接來保留圖像的細節信息.原始特征圖經過這兩種塊并行處理后，再將它們的輸出進行通道連接.最后，使用卷積核大小為1 × 1 的卷積操作，將通道數恢復為原始的通道數.

1.2 判別器網絡結構

判別器包括3 個卷積核大小依次為8 × 8，4 × 4，4 × 4的卷積層、批量歸一化層（BN）、ReLU 激活函數層，緊接著還有3個全連接層將數據扁平化，卷積層的卷積核數量依次為8、64、256，全連接層中輸出節點數為256、64和1.在最后一層，利用tanh 激活函數作為評估器，得出輸入圖像是真實圖像的概率.圖5為判別器網絡內部結構.

圖5 判別器網絡內部結構Fig.5 Internal structure of the discriminator network

1.3 位置編碼

對于醫學圖像合成，醫學圖像通常具有較高的空間分辨率和較復雜的結構.因此在醫學圖像合成中準確地捕捉到這些空間位置信息對于合成圖像的質量至關重要.位置編碼是一種將空間位置信息嵌入到特征表示中的方法，通過位置編碼學習到圖像中不同位置的特征和相對位置之間的關系，從而提高模型的空間感知能力.

如圖6 所示為本文的位置編碼內部結構，H、W、D分別為特征圖的高度、寬度和通道數.本文將Transformer 模型［23］中提出的1D 位置編碼技術調整為2D，公式如（1）～（4）所示：

圖6 二維位置編碼內部結構Fig.6 Internal structure of the two-dimensional position encoding

式中：x和y指定為水平和垂直位置坐標值，即(x，y)為二維空間的一個坐標點；i，j是[0，D/4)中的整數.位置編碼得到的位置信息圖具有與特征圖相同的大小和維度.位置編碼的每個維度都由特定頻率和相位的正弦信號組成，表示水平方向或垂直方向.本文使用的時間范圍從1到10000.不同的時間尺度等于D/4，對應于不同的頻率.對于每個頻率，在水平/垂直方向上生成正弦/余弦信號.所有這些信號被串聯成D個維度，前一半維度為水平位置的編碼，后一半維度為垂直位置的編碼.最后將位置信息和特征圖相加，作為輸出.該位置編碼具有不向神經網絡添加新的可訓練參數的優點.

1.4 圖注意力塊（GAB）

在圖注意力塊中，將圖像數據轉換成一張圖結構，將不同的圖像塊作為圖中的節點，節點之間的關系構成了圖中的邊.通過連接不同切片中相同坐標位置的圖像塊起來，構建出一張具有結構連續性的圖.選取其中一切片內的圖像塊作為中心節點，將其相鄰兩個切片同坐標位置的圖像塊作為鄰居節點與其關聯.這些圖像塊間存在著不同細節的信息，導致它們之間存在差異.故在中心節點附近選取了若干個節點作為補充.這一點在于圖像的任何一個圖像塊并不是單獨存在，圖像塊會與周圍數個像素信息相關聯，使中心節點與鄰居節點進行相互交互的同時，中心節點可以從周圍像素組中彌補缺失.

圖注意力網絡（Graph Attention Networks，GAT）既能充分結合局部特征又能保留整體的結構信息［24-25］.本文構建以圖像塊作為節點的圖結構.其中圖像塊的大小為h×w，相鄰切片的同位置共有n1個圖像塊相連接，輸入維度為［h×w，n1］.其中的中間切片的圖像塊與周圍相鄰的k個像素相連接，將k個元素重塑為一個矩陣，使輸入維度為［h×w，n2］.最終，特征向量的總輸入維度為［h×w，n］，其中，n=n1+n2.

以圖7為例，不同顏色的方塊代表著一個像素，圖中以2 × 2 個像素大小為一圖像塊，首先將相鄰三切片提取的三個圖像塊（3 × 2 × 2個像素）重塑為4 ×3 的矩陣，然后將與中間切片的圖像塊相關聯的12個像素重塑為4 × 3 的矩陣，將所有矩陣拼接后可得到4 × 6 大小的特征矩陣.特征矩陣的每一列可以被視為該圖的一個節點，每對列之間相似性可以視為圖的一條邊.根據特征矩陣與構建的拓撲結構，得到鄰接矩陣，來描述圖中節點之間的連接關系.在鄰接矩陣中，如果節點i和節點j之間有連接，則鄰接矩陣的第i行第j列和第j行第i列的元素值為1，否則為0.最后，通過同時輸入鄰接矩陣和特征矩陣到GAT 層進行計算，完成對圖數據的處理.對于特征圖X∈RH×W×C（H、W、C分別為特征圖的高度、寬度和通道數），圖像塊的大小為H/n×W/n，其中n為尺度因子，使圖像塊能夠與特征圖的尺寸相匹配.

圖7 圖注意力塊（GAB）的內部結構Fig.7 Internal structure of the Graph Attention Module（GAM）

如圖8（a）所示，該圖以第i個節點的節點特征，以及相關聯的5 個節點為例描述GAT 層的計算過程.圖注意力層的輸入是一組節點特征，h=，通過利用相鄰節點的相似性，得到一組新的節點特征為了更新特征，一個可學習的共享線性變換權重矩陣W將應用于每個節點，以生成更深層的特征.然后在節點上執行一個共享的自注意機制e，e：Rd×Rd→R，eij為每條邊(i，j)的注意力分數，表示為相鄰節點j對節點i的重要性.

圖8 圖注意力層流程圖與多頭圖注意力機制Fig.8 Process diagram of the Graph Attention Layer and the Multi-head Graph Attention Mechanism

式中：a∈R2d′，W∈Rd′×d被學習，||表示向量串聯.LeakyReLU 為一個非線性激活函數.這些注意力分數在所有鄰居j∈Ni中經過Softmax 標準化，注意力函數定義為：

通過標準化注意系數計算相鄰節點變換特征的加權平均值（σ是非線性函數），作為節點的新表達形式：

多頭注意力機制是提取深層特征的有效擴展方式.在圖8（b）中，紅色圓圈和藍色圓圈分別代表第i個節點及其最近的5個相鄰節點.不同顏色箭頭表示獨立的注意力計算，圖中展示了3 個注意力頭.假設對于每張圖結構均使用M個獨立的注意力機制，每個注意力機制都能夠使用公式（7）來獲取第i個節點的更新特征.將M個獨立的注意力機制更新后的特征向量連接在一起，進行平均處理，得到最終的節點特征.這個過程可以從不同的注意力機制中獲取更加豐富和準確的特征信息，提高模型的性能.此過程如下所示：

1.5 全局塊注意力塊（GPAB）

為探索醫學圖像同切片內的特征相似性，本文提出在圖像切片內基于圖像塊的全局塊注意力塊（GPAB），該塊可以通過從全局范圍內獲取圖像中的信息，因此能夠更好地捕捉長距離依賴關系，增強局部特征.如圖9 所示為GPAB 的內部結構.該塊以圖像塊為單位進行相似度匹配，將每個圖像塊的特征作為全局特征的一部分，并通過在全局特征中計算相似度矩陣來衡量每個圖像塊與全局特征關系，此相似度矩陣是多維度的.對多維相似度矩陣進行Softmax函數運算，得到一組注意力權重.最后，每個圖像塊與全局特征按照對應注意力權重通過哈達瑪運算進行加權求和，得到該圖像塊的最終表示.給定圖像特征圖X，該注意力定義為：

圖9 GPAB的內部結構Fig.9 Internal structure of GPAB

式中：（i，j）、（g，h）和（u，v）是特征圖X的坐標元組，φ(·，·)為相似性函數，被定義為：

式中：θ(X)、δ(X)、ψ(X)是特征表達函數，通過1 × 1的卷積實現.θ(X)=WθX，φ(X)=WφX，ψ(X)=WψX，其中，Wθ，Wφ，Wψ為可學習的參數；Xi，j，Xg，h，Xu，v為大小、維度相等的圖像塊.GAB 與GPAB 相同，圖像塊的大小設置為H/n×W/n，其中n為尺度因子.

1.6 基于對抗性學習下的損失函數

本文將對抗性損失應用于生成器網絡及其判別器網絡.對抗性損失函數可以定義為：

式中：G表示生成器，D表示判別器，IX表示輸入圖像，IY表示相應的真實圖像.訓練中，生成器G試圖生成與真實圖像IY相比足夠逼真的合成圖像G(IX).判別器D的任務是區分真實的醫學圖像IY和合成的醫學圖像G(IX).生成器G試圖最小化該損失函數，而判別器D則試圖最大化該損失函數，即：G*=argminGmaxDLGAN(G，D).

除了對抗性損失函數外，生成器的損失函數還包括L1損失來引導生成器生成高質量的圖像.生成器G的L1損失項：

GGPA-GAN網絡的整體損失函數為：

式中，λ用于控制L1 損失函數和對抗性損失函數之間的權重分配.

2 實驗

2.1 數據集

本文的3T-7T MRI合成任務使用的圖像數據來自HCP 數據集［26］（Human Connectome Project，人類連接組項目）.本文的T1-T2 MRI合成任務使用的圖像數據來自ADNI 數據集［27］（Alzheimer′s Disease Neuroimaging Initiative，阿爾茨海默癥神經影像學倡議）.針對3T-7T MRI 任務，本文使用80 例成對的3T MRI 和7T MRI 圖像，并對所有3T MRI 和7T MRI 圖像進行尺寸固定，空間分辨率為180 × 256 ×256，體素分辨率為1.0 mm × 0.8 mm × 0.7 mm.針對T1-T2 MRI任務，本文同樣使用80例成對的T1 MRI和T2 MRI 圖像，并將所有T1、T2 MRI 的空間分辨率固定為180 × 256 × 256，體素分辨率為0.9 mm ×0.9 mm × 3 mm.所有采集圖像均為具有清晰腦部紋理、豐富細節特征的高質量數據，且均經過類間、類內的剛性配準，以保證嚴格對齊.對于每例數據，將原始強度值線性縮放到[-1，1].將所有數據分為訓練集與測試集，每個任務隨機選取62例用于網絡訓練的訓練集圖像，18 例用于測試網絡泛化性能的測試集圖像.測試集與訓練集不重疊，以確保模型的泛化性能和可靠性.

2.2 實驗環境

硬件設備：CPU：Intel Xeon Gold 6240@2.60 GHz × 72；GPU：NVIDIA TITAN RTX 24 G × 2；內存：64 G；軟件配置：操作系統為64 位Ubuntu18.04.6 LTS；Python 3.7；Pytorch 1.6.0.

2.3 實驗參數設置

在訓練過程中，Batch-size 設置為32，每個批次大小為16 × 256 × 256.使用ADAM 優化器實現網絡參數優化，網絡總輪數設置為300輪.初始學習率0.0002，動量參數為0.9，權重衰減為0.005.

2.4 評價指標

本文采用峰值信噪比（Peak Signal-to-noise Ratio，PSNR）和結構相似性指數（Structural Similarity Index，SSIM）以及平均絕對誤差（Mean Absolute Error，MAE）三種指標來評估合成圖像的質量.其中，PSNR是一種廣泛應用于評估圖像清晰度的指標，它基于像素點之間的誤差來衡量合成圖像與真實圖像之間的差異.在計算PSNR 時，均方誤差（Mean Squared Error，MSE）越小則PSNR 越大，代表著合成圖像的效果越好.峰值信噪比PSNR的計算公式如下：

式中：I（i）表示真實圖像中某個像素點的像素值，Syn（I（i））表示在體素空間中合成圖像相應像素點的像素值.

SSIM 從3 個方面評價合成圖像與真實圖像的差距：亮度、對比度和結構，值的范圍在(0，1)，值越大表示兩張圖像越相似.結構相似性指數SSIM的計算如下所示：

式中：μR和μS分別表示真實圖像和合成圖像的均值，σR、σS為真實圖像和合成圖像的協方差.c1=(k1L)2，c2=(k2L)2為常數，L是像素值的動態范圍，在本文中L=7，k1=0.01，k2=0.03.

MAE 是計算每個像素值之間的絕對差異，再取平均值，因此是一種評估兩個圖像之間平均差異的方法.MAE 越小，兩張圖像越相似.平均絕對誤差MAE的計算如下：

式中：H和W分別表示圖像的高度和寬度，X和Y分別表示合成圖像和原始真實圖像.

2.5 對比實驗及分析

為了驗證本文提出的模型性能，本文將其與4 種現有模型進行比較，它們分別是UNet++［28］、TransUNet［29］、Pix2pix［16］和CycleGAN［21］.其中，分別將AttentionUNet 和TransUNet 作為生成器網絡嵌入到本文的GAN 架構中作為對比，以證明本文生成器網絡在深層特征提取方面卓越的成效.

UNet++網絡在UNet 基礎上進行升級，該網絡加入了深度監督機制，將跳躍連接改進為密集的短連接，可以抓取不同層次的特征，并將它們通過疊加的方式進行整合.TransUNet同時具有Transformers和U-Net 的優點，相比于傳統的卷積神經網絡，TransUNet使用了Transformer結構，使得模型可以自適應地學習到圖像中的全局和局部特征.Pix2pix 與CycleGAN 為如今主流的醫學圖像合成方法.Pix2pix是一種基于條件生成對抗網絡（CGAN）的方法，通過專注于保持逐像素的強度相似性來合成整個圖像.CycleGAN 是使用對抗性損失函數合成圖像，同時通過一個循環一致性損失函數保持圖像的原始語義信息.

2.5.1 定性評估

對3T-7T MRI 和T1-T2 MRI 兩個任務進行了定性比較實驗，圖10 為本文方法與4 種對比方法在相同測試圖像下的矢狀面和軸位面上進行3T-7T MRI任務測試的定性比較結果.可見大多數對比方法不能很好地恢復圖像細節.如CycleGAN 的局部放大結果整體非常模糊，而本文方法合成的圖像比對比方法擁有更清晰的細節.圖11 所示為本文方法與4 種對比方法在矢狀面和軸位面上進行T1-T2 任務中的定性比較結果圖.可見與3T-7T任務相比，T1與T2圖像具有邊界模糊、噪聲、對比度差的特點，本文在任務中能較為清晰地還原圖像的輪廓與細節特征，邊緣也較為平滑.綜上，本文方法的合成效果優于其他4種對比的合成方法.

圖10 本文方法與 4種對比方法在 3T合成7T MRI任務中的定性比較結果Fig.10 Qualitative comparison results of the proposed algorithm and four comparison algorithms in the 3T to 7T MRI synthesis task

圖11 本文方法與 4種對比方法在 T1合成T2 MRI任務中的定性比較結果Fig.11 Qualitative comparison results of the proposed algorithm and four comparison algorithms in the T1 to T2 MRI synthesis task

2.5.2 定量評估

實驗利用PSNR、SSIM、MAE 客觀評價指標在3T-7T MRI、T1-T2 MRI 兩個任務中測試了18 例MRI圖像，本文方法的表現均優于對比的4種合成方法，本文方法及4 種對比合成方法在PSNR、SSIM、MAE的測試結果折線圖分別如圖12-13 所示，其中綠色折線表示本文方法的客觀評價結果，評價結果平均值如表1所示.

表1 客觀評價指標平均值Tab.1 Average value of objective evaluation metrics

圖12 本文方法與4種對比方法在3T合成7T MRI任務中的定量結果Fig.12 Quantitative results of the proposed algorithm and four comparison algorithms in the 3T to 7T MRI synthesis task

圖13 本文方法與4 種對比方法在T1合成T2 MRI任務中的定量結果Fig.13 Quantitative results of the proposed algorithm and four comparison algorithms in the T1 to T2 MRI synthesis task

由表1 可知，利用本文方法進行合成可以獲得各項指標的最大均值.在T1-T2 MRI圖像實驗中，合成具有較高質量和真實感的合成圖像是一項具有難度的任務，任務對于網絡的非線性擬合的要求更高，本文的取得的成績更為顯著.

2.6 消融實驗

2.6.1 多種方法組合下的消融實驗

本文所提出的生成器網絡包含3 個核心組件，即圖注意力塊（GAB）、全局塊注意力塊（GPAB）和位置編碼，實驗通過不同的組合來研究它們的影響，從圖像視覺效果和定量結果兩方面進行對比實驗.表2顯示了HCP數據集上關于這些組合的消融實驗的結果，圖14 展示了消融實驗的視覺效果比較.視覺效果通過差值圖的方式呈現.差值圖通過將合成圖像與真實圖像相減得到，用于表示兩個圖像之間的差異.通過比較差值圖的特征，可以對不同方法的表現進行評估和比較.

表2 在HCP數據集中關于不同方法組合的消融實驗的定量結果Tab.2 Quantitative results of the differential ablation experiments on different combinations of methods in the HCP dataset

圖14 在HCP數據集中關于不同方法組合的消融實驗差值圖Fig.14 Differential plot of ablation experiments on different combinations of methods in the HCP dataset

2.6.2 關于尺度因子n的消融實驗

在圖注意力塊和全局塊注意力塊中，本文以圖像塊作為計算單位.尺度因子n越大，表示圖像塊的尺寸越小.因此，本文研究了尺度因子n對網絡效果的影響，如表3所示，基于HCP數據集進行了尺度因子n的消融實驗.尺度因子n分別設置為12、8、4，其中n=12時取得了更好的效果，說明較小的圖像塊可以作為計算單位進行計算.使用較大的圖像塊尺寸時，模型的性能會受到一定的影響，由于較大的圖像塊意味著對圖像塊之間的相似性有更高的要求.在實際實驗中，本文沒有將n設置為12，而選擇了n=8，原因是當n過大時，計算量也會增加，導致網絡在測試時耗時較長，而帶來的性能提升相對較小，得不償失.綜上，選擇將n設置為8.

表3 不同尺度因子n的大小的消融實驗客觀評價指標Tab.3 Objective evaluation metrics for the ablation experiment of different scale factors n

2.6.3 關于GAB中多頭注意力機制的消融實驗

GAB 使用多頭注意力機制，增加注意力頭的數目可以增加模型的表達能力，過高會導致過擬合問題.本節中對比了不同頭數的多頭注意力機制對模型性能影響，表4 展示了使用不同頭數的多頭注意力機制的最終結果，可見當使用8頭注意力機制時，模型達到了最好的性能.

表4 多頭注意力機制的消融實驗客觀評價指標Tab.4 Objective evaluation metrics for the ablation experiments of multi-head attention mechanism

3 結語

經過研究和實驗驗證，本文提出的自相似增強特征生成對抗網絡（GGPA-GAN）在跨模態醫學圖像合成任務中展現出卓越的性能.與現有方法相比，GGPA-GAN 利用圖注意力塊和全局塊注意力塊捕捉醫學圖像切片間和切片內的自相似性，并通過二維位置編碼增強了語義信息的表達能力.在HCP_S1200 數據集和ADNI 數據集上的實驗結果表明，GGPA-GAN 在合成3T-7T、T1-T2 腦部MRI 圖像任務中達到了最優水平.該研究的成功應用為臨床診斷提供了有力的支持，為深入探索醫學圖像合成領域開辟了新的方向.