基于變分推斷的磁共振圖像群組配準

周 勤，王遠軍

基于變分推斷的磁共振圖像群組配準

周 勤，王遠軍*

上海理工大學 醫學影像技術研究所，上海 200093

為解決基于深度學習的成對配準方法精度低和傳統配準算法耗時長的問題，本文提出一種基于變分推斷的無監督端到端的群組配準以及基于局部歸一化互相關（NCC）和先驗的配準框架，該框架能夠將多個圖像配準到公共空間并有效地控制變形場的正則化，且不需要真實的變形場和參考圖像．該方法得到的預估變形場可建模為概率生成模型，使用變分推斷的方法求解；然后借助空間轉換網絡和損失函數來實現無監督方式訓練．對于公開數據集LPBA40的3D腦磁共振圖像配準任務，測試結果表明：本文所提出的方法與基線方法相比，具有較好的Dice得分、運行時間少且產生更好的微分同胚域，同時對噪聲具有魯棒性．

深度學習；群組配準；變分推斷；可變形配準

引 言

各類腦成像中，磁共振成像（magnetic resonance imaging，MRI）由于可以顯示血液和其狀態的微小變化、無損傷定位大腦的功能活動，幫助病患發現早期腦部疾病，已經成為使用最廣泛的腦功能研究手段，并為許多腦部疾病的檢測與治療帶來福音．圖像配準因具有信息匹配、信息融合的功能而成為在疾病分析中不可或缺的一部分．圖像配準是MRI分析中的一項常見任務，也是許多領域中的一個活躍研究課題．它將圖像空間對齊到一個共同的解剖空間[1]，多幅圖像的配準可以作為成對（pairwise，PW）配準或群組（groupwise，GW）配準問題來處理[2]．如下圖1所示，PW配準指定某一圖像作為模板，其他圖像與模板配準；GW配準中包括一個聯合優化問題，用整個序列的信息創建模板，以避免在后續研究中引入偏差．

圖1 (a)成對配準（PW）和(b)群組配準（GW）圖像配準示意圖．(a)中M代表浮動圖像，F為一組圖像中任意一幅圖像作為模板，f為變形場，(b)中模板由數據集中N幅圖像信息聯合構建

過去幾十年，圖像配準算法得到長足的發展．經典的配準算法和基于學習的方法受到很大關注，比較有代表性的算法有elastic模型[3]、B樣條[4]和Demons[5]．幾何變換的微分同胚性是當前配準領域非?？粗氐膬烖c，比較有代表性的算法有LDDMM[6]、DARTEL[7]和Syn[2]．對于以上方法，大多數配準的模板都是任意指定的．但在圖像集中隨機選擇的作為模板的圖像往往不能代表圖像集的結構變形和復雜性，并可能導致偏差和誤導性分析，所以研究GW圖像配準具有很重要的意義．近年來GW配準在配準領域越來越受歡迎，是因為它能提供更多有用的信息．Guimond等[8]提出一種建立平均解剖模型的方法，該方法在單個圖像（模板圖像）中提供平均強度和平均形狀，以平均的方式消除了腦形狀和強度變化．類似于文獻[8]的方法，Seghers等[9]通過選擇每個圖像作為模板來對齊所有圖像，并且使圖像與平均變形場非剛性對齊．Wu等[10]提出使用自適應加權策略的SharpMean配準方法，進一步構建基于特征的GW配準方法，該方法在配準過程中實現解剖學上合理的對應．以上提出的幾種GW配準算法都是將圖像配準到它們的相似圖像，其中相似圖像稱為中間模板[11,12]. Wang等[13]提出一種類似金字塔式的配準框架，該框架可以有效地配準大的圖像數據集，配準性能相對較好．隨著深度學習技術的興起，許多研究者也在探索深度神經網絡在GW圖像配準中的應用．Che等[14,15]提出一個由主成分分析構建的模板圖像引導的無偏差的深度GW配準框架，適用于多光譜圖像．類似于文獻[14,15]的方法，Haase等[16]使用了魯棒的主成成分分析方法．不同的是，在變分正則化的基礎上，他們提出基于一階原始對偶優化的多級方案來解決由此產生的非參數配準的問題．由于單個模板可能無法捕捉數據集的可變形，Dalca等[17,18]提出一種用于產生條件模板的配準框架和學習策略．類似于文獻[17,18]使用可變模板的范例做法，Siebert等[19]提出使用自動編碼器實現GW配準的方法，以無監督學習方式學習圖像的形狀和外觀．遵循可變形模板的范例，將其應用到圖像集上對齊．最近，He等[20]提出一種無監督的端到端GW框架，該框架具有多步機制來逐步優化輸出的變形場，而無需模板．這項工作主要用于二維醫學圖像配準任務，且預估的變形場不是微分同胚域．Balakrishnan等[21]提出一種基于卷積神經網絡（convolutional neural networks，CNN）的無監督PW配準方法，他們使用了一種類似于U-Net的架構，并將其命名為voxelmorph．后來，他們擴展了該方法，提出一個基于無監督學習的推理算法，并將其命名為voxelmorph-diff[22]．實驗結果表明，他們提出的算法有助于提高Dice系數，性能與ANT和NifTYG相當，但是計算效率是ANT的150倍，是NifTYG的40倍．voxelmorph-diff和voxelmorph是近年來基于深度學習的PW配準領域比較經典的方法，計算效率也高于現有的一般方法.

本文提出一種基于變分推斷的無監督端到端的GW圖像配準方法．首先，使用平均輸入圖像的方式構建模板，將輸入圖像和模板圖像在通道處堆疊并送入CNN學習；然后基于變分推斷對變形場進行預估，得到的變形場可實現將訓練圖像變換到模板的公共空間．該方法在訓練過程中不需要參考圖像和真實的變形場．這種學習策略類似傳統的優化迭代方法，但模型和參數由神經網絡和其權重代替，可以利用隨機梯度下降對模型進行優化．同以往的方法相比，主要創新性如下：（1）不同于傳統的GW配準，提出了一個以無監督深度學習方式優化的GW配準框架，它可以同時直接輸出所有輸入3D圖像的位移場，不需要輸入參考圖像，而且該框架不需要對齊的圖像對．（2）為增強所提出框架對噪聲和強度變化的魯棒性，我們使用局部歸一化互相關（normalized cross correlation，NCC）來衡量模板和扭曲輸入圖像之間的相似性損失．（3）與其它基于學習的配準方法相比，所提出的的方法具有網絡設計簡單，配準精度與Syn算法相當，且比voxelmorph-diff，voxelmorph算法速度更快等特點，并對噪聲具有魯棒性．

1 基于變分推斷的無監督配準方法

1.1 相關理論

1.2 方法流程

圖2 基于變分推斷的磁共振圖像群組配準框架

1.3 模板更新

GW配準的一個關鍵點是對組均值圖像進行魯棒和精確的估計．基于微分同胚[2]，我們使用如下步驟構建模板．

1.4 概率生成模型

根據文獻[22]，對于每一個樣本可知：

則有：

本文研究單模態變形配準，使用來測量衡量模板和扭曲輸入圖像之間的相似性損失，以增強其對噪聲和強度變化的魯棒性．任意兩幅圖像的局部歸一化互相關可由以下公式計算：

1.5 神經網絡模型

GW方法旨在找到GW圖像到模板空間的最佳變換，以及模板圖像的計算．本文的網絡架構包括解碼網絡、CNN、空間轉換器和損失函數．在文獻[22]中，Balakrishnan等明確的選擇模板圖像和運動圖像來進行PW配準．相比之下，在我們的方法中，在輸入到CNN網絡之前，先將輸入圖像和生成的模板圖像在通道堆疊并送入CNN網絡，學習群組圖像到模板圖像的公共空間變換．

CNN模型由卷積、縮小/放大和跳躍連接組成，詳細結構如圖4所示．該架構由編碼器和解碼器兩部分組成．網絡采用通過將和連接成2通道3D圖像而形成單個輸入．在本文實驗中，輸入大小為160*160*192*2．編碼階段和解碼階段均使用內核大小為3的3D卷積，步長為2.在每個卷積操作后緊跟一個參數為0.2的LeakyReLU激勵函數，增加網絡的非線性，且步長均為1. 編碼階段使用4個步長為2、大小為3*3*3的卷積核進行下采樣（最大值池化），使空間維度減半．編碼階段最終輸出一個10*10*12*32的特征圖．解碼階段使用4個上采樣層和1*1*1卷積核．最終輸出兩個160*160*192*3大小的特征圖分別對應近似后驗概率的均值和協方差．由于上采樣過程易造成信息丟失，我們在編碼階段和解碼階段之間加入跳躍連接（skip connection）．其中，跳躍連接層可以將編碼階段階段學到的信息對應傳到解碼階段階段，起到了提供更精細空間尺度的作用，從而補充信息，使得精確配準成為可能．

圖4 本文使用的CNN網絡框架

總體結構與大多數醫學圖像配準網絡使用的U-net相同．但是，為滿足GW配準的需要，做了以下幾處改變：

（1）在原始的U-net中，下尺度層和上尺度層是通過最大池化和轉置卷積實現的，取而代之的是一個更為簡單的群組網格．

（2）批次數量將始終為一，因為在優化過程中，只有一組圖像被送入網絡．因此，批處理規范化被實例規范化所取代．

（3）卷積-歸一化-激活操作的兩個連續集合被減少到一個．這一變化提高了效率，但不影響性能．使用泄漏整流激活層（LeakyReLU）來代替原始整流線性激活（ReLU）．

（4）由于內存大小限制，輸入圖像在輸入CNN之前被縮小到原始分辨率的一半，然后將輸出位移場提升到原始分辨率，用以變換輸入圖像．

1.6 損失函數

制定的損失函數旨在優化模型和減少公共空間生成的偏差．通過不斷優化損失函數從而指導模型的學習．本文使用的損失函數為

2 實驗部分

2.1 實驗描述

為驗證本文提出算法的性能，使用公開數據集LONI LPBA40[23]進行實驗．對數據集的所有3D磁共振圖像都使用FSL和FreeSurfer軟件進行偏移場矯正、大腦提取及線性配準、體素重采樣至 1 mm*1 mm*1 mm和尺寸裁剪為160*160*192等預處理．并將含有40個3D磁共振圖像的LPBA40數據集劃分為訓練集（30）、測試集（10）．每個3D圖像均有對應的標簽（54個腦區標記），這些標簽可用于評價配準的精度．

2.2 深度學習模型訓練與測試

本文構建的深度模型使用無監督的學習方式進行訓練．將初始模板和訓練數據在通道維度上堆疊，然后送到CNN網絡學習得到變形場，將得到的變形場作用于訓練圖像，輸出配準后的圖像，隨后，更新模板直到所有圖像都與最新的模板圖像對齊．同訓練一樣，測試時將測試樣本的總和取平均輸入到訓練好的模型進行多次迭代，計算迭代后的平均變形場．當迭代的變形場接近正交網格時，迭代終止，得到的最新模板作為測試時的模板圖像．將得到的模板圖像和測試圖像輸入到訓練好的模型，將得到的變形場作用于測試圖像標簽，得到形變后的標簽圖，通過這種方式計算不同標簽的Dice值．

我們使用Tensorflow在6-core Intel i7-8700K CPU和6 GB NVIDIA GeForce RTX 2060 GPU機器上實現模型的訓練與測試．實驗環境為DUDA10.0并行計算架構，操作系統為Win10，軟件為PyCharm．并設計了以下兩個不同的實驗：（1）LPBA40數據集配準實驗，以評估算法的配準精度；（2）在LPBA40數據集上疊加不同參數的噪聲，以分析算法對噪聲的魯棒性．

本文還選取配準精度較高的Syn、voxelmorph-diff和voxelmorph三種算法進行了對比，其中后面兩種方法是基于深度學習的經典的可變形PW配準算法．Syn使用ANTsPy實現，使用互相關（cross correlation，CC）系數作為其度量標準．voxelmorph-diff和voxelmorph兩種方法使用與文獻[22]相同的網絡參數進行訓練．

2.3 評估方法

3 結果與討論

3.1 LPBA40數據集配準實驗

圖5 測試結果中心切片：(a)第一迭代的變形場；(b)第二次迭代的變形場；(c)浮動圖像；(d)模板圖像；(e)配準后的圖像；(f)變形場

表1 不同算法在LPBA40測試集上配準結果的多指標分析

*：括號內指方差. Avg. Dice為54個腦區配準后Dice的平均值.

GW配準的重點是將每幅圖像變形到的公共空間，因此獲得一幅具有代表性的模板圖像是組配準的關鍵．其核心是找到一個無偏的模板圖像，將其他圖像配準到圖像的公共空間．但很難驗證模板的無偏向，我們取相關算法配準后的組均值圖像，如圖7所示，結果表明，我們的方法生成的模板圖像比voxelmorph和voxelmorph-diff方法更清晰，其結構與Syn方法的結果大致一致，這意味著我們的方法至少與基線一樣無偏．

3.2 本文方法對噪聲的魯棒性分析

圖6 基于本文算法得到的10幅腦磁共振圖像冠狀位中心切片測試集群組配準結果．(a)原圖像；(b)配準后的圖像；(c)變形場的彩色圖像；(d)變形場的網格圖像

圖7 不同算法得到的扭曲圖像的均值圖像．(a)矢狀位中心切片；(b)冠狀位中心切片；(c)水平位中心切片．每幅小圖中第一行從左到右依次為voxelmorph算法的均值圖像，voxelmorph-diff算法的均值圖像．第二行從左到右依次為Syn算法的均值圖像和本文方法的均值圖像

圖8 不同噪聲強度的浮動圖像：(a)～(d)噪聲均值均為0，方差分別為0.001、0.002、0.003、0.004

表2 使用本文方法對包含不同強度噪聲的LPBA40測試集進行配準的多指標分析

*：括號內指方差. Avg. Dice為54個腦區配準后Dice的平均值.

圖9 使用本文算法對含均值為0、方差為0.002的噪聲圖像進行配準的結果：(a)浮動的圖像；(b)構建的模板；(c)配準后的圖像

4 結論

為解決傳統配準算法配準時間長和精度低的問題，本文提出了一種基于變分推斷的無監督GW配準方法．該方法將整個序列的信息融入到配準過程中，對預估的變形場使用概率生成模型進行建模，并用變分推斷的方法求解．此外，我們設計一種基于NCC和先驗的配準方法，以有效地控制變形場的正則化．利用LPBA40數據集配準實驗以及方法相對噪聲的魯棒性分析實驗，驗證本文配準方法的性能．實驗結果表明，我們的方法在多數評價指標上表現良好且具對噪聲具有一定的魯棒性．而且我們的GW配準模型可以同時配準多幅圖像，其性能類似于Syn和基于學習的voxelmorph-diff，接近實時的GW圖像配準．不足的是，盡管使用了微分同胚變換，但雅克比行列式也有負值且損失函數使用了過多的平滑項和正則化項，這可能增加近似誤差的累積，并導致配準的速度下降．同時，本文對算法魯棒性實驗設計簡單，后續可以考慮使用多線圈圖像進行測試，并考慮將算法應用于多模態圖像間的配準．

無

[1] Wang Y, Jiang F, Liu Y. Reference-free brain template construction with population symmetric registration[J]. Med Biol Eng Comput, 2020, 58(9):2083-2093.

[2] Martín-González E, Sevilla T, Revilla-Orodea A, et al. Groupwise non-rigid registration with deep learning: an affordable solution applied to 2D cardiac cine MRI reconstruction[J]. Entropy, 2020, 22(6):687.

[3] Gee J C, Reivich M, Bilaniuk L, et al. Evaluation of multiresolution elastic matching using mri data[J]. Proc Spie, 1991, 1445:226-234

[4] Rueckert D, Sonoda L I. Nonrigid registration using free-form deformations: application to breast mr images[J]. IEEE T Med Imaging, 1999, 18(8):712-721.

[5] Thirion J P. Image matching as a diffusion process: an analogy with Maxwell's demons[J]. Med Image Anal, 2011, 2(3):243-260.

[6] Zhong J, Phua D, Qiu A. Quantitative evaluation of lddmm, freesurfer, and caret for cortical surface mapping[J]. Neuroimage, 2010, 52(1):131-141.

[7] Asami T, Bouix S, Whitford T J, et al. Longitudinal loss of gray matter volume in patients with first-episode schizophrenia: dartel automated analysis and roi validation[J]. Neuroimage, 2012, 59(2):986-996.

[8] Guimond A, Meunier J, Thirion J P. Average brain models: a convergence study[J]. Comput Vis Image Und, 2000, 77(2):192-210.

[9] Seghers D, D'Agostino E, Maes F, et al. Construction of a brain template from mr images using state-of-the-art registration and segmentation techniques[C]// Medical Image Computing and Computer-Assisted Intervention--MICCAI 2004, 7th International Conference Saint-Malo, France, September 26-29, 2004, Proceedings, Part I. 2004.

[10] Wu G, Jia H, Wang Q, et al. Sharpmean: groupwise registration guided by sharp mean image and tree-based registration[J]. Neuroimage, 2011, 56(4):1968-1981.

[11] Wu G, Wang Q, Jia H, et al. Feature-based groupwise registration by hierarchical anatomical correspondence detection[J]. Hum Brain Mapp, 2012, 33(2):253-271

[12] Yanovsky I, Thompson P M, Osher S, et al. Topology preserving log-unbiased nonlinear image registration: theory and implementation[C]// IEEE Conference on Computer Vision & Pattern Recognition.Minneapolis, Minnesota, USA: IEEE, 2007.

[13] Wang Q, CHEN L Y yap p t, et al. Groupwise registration based on hierarchical image clustering and atlas synthesis[J]. Hum Brain Mapp, 2010, 31:1128-1140

[14] Che T, Zheng Y, Cong J, et al. Deep group-wise registration for multi-spectural images from fundus images[J]. IEEE Access, 2019, 7: 27650-27661.

[15] Che T, Zheng Y, Sui X,et al. Dgr-net: deep groupwise registration of multispectral images[C]// Information Processing in Medical Imaging - 26th International Conference , Hong Kong, china:IPMI, 2019:706-717.

[16] Haase R, Heldmann S, Lellmann J. Deformable groupwise image registration using low-rank and sparse decomposition[EB/OL]. [2020-06-10]. https://arxiv.org/abs/2001.03509.

[17] Dalca A V, Rakic M, Guttag J, et al. Learning conditional deformable templates with convolutional networks[C]//Neural Information Processing Systems 2019(NeurIPS 2019),Vancouver, BC, Canada, 2019:804-816.

[18] Yu E M,Dalca A V,Sabuncu M R. Learning conditional deformable shape templates for brain anatomy[M]. Lima: Machine Learning in Medical Imaging, 2020:353-352.

[19] Siebert H, Heinrich M P. Deep groupwise registration of mri using deforming autoencoders[M]. Berlin: Springer,2020:236-241.

[20] He Z Y, Chung A C S. Unsupervised end-to-end groupwise registration framework without generating templates[C]// 2020 IEEE International Conference on Image Processing (ICIP). IEEE, 2020:375-379.

[21] Dalca A V, Balakrishnan G, Guttag J, et al. Unsupervised learning of probabilistic diffeomorphic registration for images and surfaces[J]. Med Image Anal, 2019, 57:226-236.

[22] Balakrishnan G, Zhao A, Sabuncu M R, et al. Voxelmorph: a learning framework for deformable medical image registration[J]. IEEE T Med Imaging, 2019:1788-1800.

[23] Shattuck D W, Mirza M, Adisetiyo V, et al. Construction of a 3d probabilistic atlas of human cortical structures.[J]. Neuroimage, 2008, 39(3):1064-1080.

[24] WANG Y J, LIU Y.Group registration method based on topological center of images[J]. Chinese J Magn Reson, 2018, 35(4):60-67.

王遠軍,劉玉.基于圖像集拓撲中心的群體配準方法[J]. 波譜學雜志, 2018, 35(4):60-67.

[25] CAI W Q, WANG Y J.Advances in the construction of the human brain map based on magnetic resonance imaging[J]. Chinese J Magn Reson, 2020, 37(2): 241-253.

蔡文琴, 王遠軍. 基于磁共振成像的人腦圖譜構建方法研究進展[J]. 波譜學雜志, 2020, 37(2): 241-253.

[26] LIU K W, LIU Z L, WANG X Y, et al.Prostate magnetic resonance image classification based on cascading convolutional neural networks[J]. Chinese J Magn Reso, 2020, 37(2): 152-161.

劉可文, 劉紫龍, 汪香玉, 等. 基于級聯卷積神經網絡的前列腺磁共振圖像分類[J]. 波譜學雜志, 2020, 37(2): 152-161.

Groupwise Registration for Magnetic Resonance Image Based on Variational Inference

，*

Institute of Medical Imaging Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China

To address the low precision of pairwise registration method based on the deep learning and the time-consuming nature of traditional registration algorithm, this paper presents a method of unsupervised end-to-end groupwise registration based on variational inference, as well as a registration framework based on normalized cross correlation (NCC) and prior knowledge. The framework can warp all images in the group into a common space and effectively control the deformation field of the regularization, and it doesn't need a real deformation field or a reference image. The estimation of deformation field by this method can be modeled as a probability generation model and solved by variational inference. Then unsupervised training is implemented with the help of spatial transformer network and loss function. The registration results of 3D brain magnetic resonance image from the public data set LPBA40 show that: compared with the baseline method, the proposed method has better Dice score, less running time, better diffeomorphisms domain, and is robust to noise.

deep learning,groupwise registration, variational inference, deformable registration

O482.53

A

10.11938/cjmr20212918

2021-05-13;

2021-08-27

國家自然科學基金資助項目(61201067)；上海市自然科學基金資助項目(18ZR1426900).

* Tel: 13761603606, E-mail: yjusst@126.com.