?

基于單光子雪崩二極管陣列的成像技術研究進展(特邀)

2022-09-23 05:24孫鳴捷王知冠
光子學報 2022年8期
關鍵詞:光子分辨率像素

孫鳴捷,王知冠,2

(1 北京航空航天大學儀器科學與光電工程學院,北京100191)

(2 北京航空航天大學 未來空天技術學院/高等理工學院,北京100191)

0 引言

根據量子理論,光子是光能量的最小載體,因此光電探測器靈敏度的理論極限就是能探測單個光子。目前常用的單光子探測器包括光電倍增管(Photomultiplier Tube,PMT)[1]、單光子雪崩二極管(Single-Photon Avalanche Diode,SPAD)[2]以及超導納米線單光子探測器(Superconducting Nanowire Single-Photon Detector,SNSPD)[3]等。經過多年的發展,單光子探測器已經廣泛應用于生物光子學[4]、量子信息光學[5-6]、激光雷達[7]以及超快成像[8]等領域。

隨著超高速、時間相關光學成像技術的出現,越來越需要能夠以皮秒精度、高信噪比和高動態范圍采集單光子信息的多像素成像設備。PMT 與SNSPD 等探測器往往需要借助掃描設備才有可能獲得一定空間分辨率的圖像,系統的體積和成像時間限制了這類單光子探測器在成像領域中的廣泛應用。相比之下,SPAD 可以通過標準互補金屬氧化物半導體(Complementary Metal Oxide Semiconductor,CMOS)工藝進行制造,這使得人們能夠以合理的成本制造小體積的SPAD 陣列。SPAD 是一種工作在極高反向偏壓下的光電二極管,當單個光子入射并產生載流子時,光生載流子會在反向偏壓的作用下不斷加速并碰撞產生新的電子-空穴對,從而在極短時間(一般在ps 量級)內產生雪崩電流信號,因此SPAD 在具備單光子探測能力的同時還能通過電信號的變化精確地測量光子的到達時間[9]。集成多個像素的SPAD 陣列具備并行的單光子信息采集能力,在探測效率方面優于傳統的單點掃描架構。此外還可以將光子計數電路以及時間測量電路集成至SPAD 陣列中,對SPAD 陣列的功能性與可擴展性有明顯提升。其他設備例如條紋相機[10]、增強電子耦合器件(Intensified Charge-coupled Device,ICCD)[11]以及SNSPD 陣列[12]等也能夠實現并行的時間相關單光子測量,但由于成本與體積等因素的限制,這些設備在成像領域中還未廣泛普及。

SPAD 陣列能夠以皮秒級別的時間分辨率并行地探測單光子的入射,同時具備低成本、高集成度等優勢,能夠有效推動單光子成像技術發展。在微弱光環境下的成像中,例如生物顯微成像或是超遠激光雷達,會面臨光信號十分微弱、成像速度慢等情況,使用SPAD 陣列能夠在保證信噪比的同時顯著提高光子探測效率,進而提升成像速度。在時間相關單光子成像中,SPAD 陣列中的每個像素都可以獨立地采集光子時間信息,實現了時間域、空間域光子信息的高效并行采集,使人們有可能解析光子的復雜傳播過程或對視場中的超高速目標進行追蹤,實現一些極端條件下的成像,例如散射成像、非視域成像以及光脈沖飛行成像等。近年來SPAD 陣列在像素規模、時間分辨率以及暗計數等參數上都在不斷取得突破,基于SPAD 陣列的成像技術也有許多新進展。本文梳理了SPAD 陣列的發展歷程與技術趨勢,綜述了基于SPAD 陣列的成像應用,對SPAD 陣列的應用前景進行了展望。

1 SPAD 陣列的發展歷程與技術趨勢

SPAD 陣列的發展歷程可大致總結為由單個雪崩光電二極管,到具備一定功能的像素,再到集成度較高的像素陣列。SPAD 在探測到單個光子后,其自發性的雪崩過程需要被及時終止以避免持續高電流對器件的損壞,隨后SPAD 上的反向偏壓會逐漸回升并使SPAD 再次回到待命狀態。上述淬火與充能[13]過程的持續時間即為SPAD 的死時間(Dead Time),這期間SPAD 無法探測光子。結合淬火電路的SPAD 即可構成最簡單的SPAD 像素,此類像素的輸出僅為與光子入射所對應的一系列電脈沖,更復雜的SPAD 像素還可能具備光子計數功能或時間相關光子探測功能。目前,單個SPAD 像素的光子探測概率(Photon Detection Probability,PDP)可達70%[14]。

光子時間測量電路也是SPAD 像素中的重要組成部分,決定了SPAD 的光子時間探測性能。值得一提的是,即使不借助時間測量電路,一些工作在光子計數模式下的高速SPAD 也能夠以μs 級別的精度區分微弱光強的變化[15-16],但無法精確測量光子飛行時間。應用在SPAD 像素中的精確光子時間測量方案主要包括時間相關光子計數(Time-correlated Single Photon Counting,TCSPC)[17]技術以及時間門控(Time Gating,TG)技術[18]。TCSPC 能夠以ps 級別的精度測量光子的到達時間,但需要較復雜的時間數字轉換(Time-to-Digital Converter,TDC)電路。具備TCSPC 功能的SPAD 像素一般只有很低的填充因子(感光區域的面積在整個像素中所占的比例)。時間門控技術利用時間門控電路使得SPAD 僅在某個特定的時間窗口內(一般為ns 量級)被激活,該時間窗口能夠以ps 的間隔移動并覆蓋整個探測周期。相比于TCSPC 技術,時間選通門控方案結構簡單,成本更低,非常適用于大像素規模的SPAD 陣列。

當像素內的電路被確定之后,可以將多個SPAD 像素集成為陣列,以獲得并行的光子探測能力。面陣SPAD 需要在像素內附加電路來實現光子信息的獲取、存儲和傳輸,額外的電路會占據像素內空間從而降低填充因子。較低的填充因子會導致面陣SPAD 的光子探測效率(Photon Detection Efficiency,PDE)下降,但面陣SPAD 無需掃描即可獲得二維圖像。SPAD 最早主要通過定制工藝進行制造,可以針對性地優化光敏單元結構或摻雜濃度從而改善SPAD 的PDP 以及噪聲表現[19],但這類SPAD 的可擴展性通常較差。2003年,利用標準CMOS 工藝制造的8×4 像素SPAD 陣列被首次報道[20]。盡管基于標準CMOS 工藝制造的SPAD在綜合性能表現上還不夠理想,但標準CMOS 工藝可以將光敏單元與附加電路進行大規模集成,使SPAD陣列能夠集成更多的像素并有更豐富的光子探測功能。

近年來隨著工藝的進步以及設計的優化,SPAD 陣列的綜合性能表現有了顯著提升。目前最新的SPAD陣列,PDE 最高可達70%,暗計數率(Dark Count Rate,DCR)可降至0.1 cps/μm2以下,同時像素規??蛇_百萬量級。SPAD 像素中的附加電路也在不斷發展,可以在SPAD 陣列上集成更為復雜的電路系統。目前先進的SPAD 陣列可同時具備光子計數功能以及光子時間測量功能,潛在的應用場景更加豐富。在大量應用于科學研究的同時,SPAD 陣列的產品化進程也在不斷推進,半導體廠商索尼已經推出了面向自動駕駛領域的高分辨率、低成本、小體積的商用SPAD 陣列[31]。表1 中總結了近年來具有代表性的SPAD 陣列的主要性能指標。

表1 近年來SPAD 陣列的主要性能指標概覽Table 1 Overview of SPAD arrays over the past few years

隨著SPAD 陣列在性能上的不斷發展與成熟,在一些應用場景中SPAD 陣列已經開始逐漸取代ICCD與條紋相機等昂貴的陣列式單光子探測器,但SPAD 陣列在探測效率、暗計數、均勻性以及時間分辨能力等指標上還有進一步優化的空間。SPAD 像素的PDP 與DCR 主要與光敏單元有關,受制造工藝、PN 結的結構以及反偏電壓等因素的影響。提升PDP 的主要思路是提高光生載流子引發雪崩的概率,具體途徑為提升耗盡層中電場的強度。高場強要求較高的反偏電壓以及比較薄的耗盡層,但高電壓會帶來高功耗,且較薄的耗盡層會導致光敏區域變小,影響整體的探測效率。另外基于標準CMOS 工藝的SPAD 會有相對較多的晶格缺陷,從而導致光生載流子被束縛,無法引發雪崩。暗計數的主要來源是SPAD 耗盡層內由于熱效應或隧道效應而產生的自由載流子,影響暗計數的主要因素包括PN 結中晶格的缺陷、雜質以及摻雜濃度等。使用標準CMOS 工藝制造的SPAD 陣列,其缺陷以及雜質含量相對較多,比定制工藝SPAD 會有更高的暗計數。優化SPAD 暗計數的方法包括優化PN 結的結構,添加吸附雜質的工藝步驟以提高PN 結質量等,另外降低反向偏壓與光敏區面積都有利于抑制暗計數,但這也會導致PDE 的下降。針對光敏單元中各項性能參數之間的相互制約,可以使用更先進的復合工藝開發性能均衡的SPAD 光敏單元,例如BCD(Bipolar-CMOS-DMOS)工藝[32-33]。SPAD 的死時間以及時間測量精度主要取決于像素中的附加電路。通過對淬火電路的優化可以將SPAD 的死時間降低至ns 以下[34]且不引入額外的噪聲,還可以通過淬火電路控制反偏電壓以降低功耗或補償SPAD 陣列中各像素的不均勻性[35]。SPAD 像素中的TDC 決定了光子時間測量能力,但高性能的TDC 一般都有更高的功耗和更大的電路面積??紤]到弱光環境下SPAD 陣列中單個像素的光子探測率比較低,因此可以在多個SPAD 像素間共享TDC[36],可以在保證性能的同時顯著降低電路面積與功耗。高性能的附加電路能夠顯著優化SPAD 陣列的探測頻率以及時間分辨率,但往往這類電路會有更復雜的結構和更多的晶體管,對光敏區域的面積會有一定的限制。

由以上分析可知,在SPAD 陣列的設計與制造過程中,尤其是對于大規模的SPAD 陣列,性能、體積、功耗以及成本等因素會相互制約。設計者可以針對應用場景對SPAD 陣列的各項性能指標進行適當權衡,例如一種為時間相關單光子成像而設計的SPAD 陣列[37]重點優化了PDE 以及時間分辨能力。該SPAD 陣列的峰值PDE 達到70%,同時集成了時間分辨率為6 ps 的TDC,使得該陣列在弱光環境下也能夠采集到精確的時間相關光子數據。但該陣列的噪聲表現相對較差,暗計數達到1kcps。另外,微透鏡技術以及3D 電路堆疊技術可以有效解決SPAD 陣列中填充因子與附加電路之間的矛盾。安裝在SPAD 像素上的微透鏡能夠將入射光子聚焦至像素內的光敏區域[38-39],在不影響像素結構的情況下可以使等效填充因子得到成倍提升。3D 電路堆疊技術[30,40]可以將SPAD 光敏單元與附加電路在兩塊基板上分別制造并將二者集成,從而克服填充因子與附加電路之間的矛盾。3D 電路堆疊技術還能夠將基于定制工藝的高性能SPAD 與易集成的CMOS 附加電路相結合,若能解決3D 電路堆疊技術的成本以及設計復雜度等問題,該技術將會是未來高性能SPAD 陣列的有效解決方案。在電路設計層面,數值仿真手段的進步也使人們可以在SPAD 設計階段通過仿真的方法預測并優化PDP 等性能參數[41],在具備較高可靠性的同時還降低了設計階段的成本。隨著SPAD 像素規模的不斷增大,大量光子數據的存儲、處理與傳輸也將會是一個難題,利用高性能FPGA 進行光子數據的本地預處理[42]可以有效降低數據存儲量,減輕后續與計算機之間的數據傳輸壓力。

隨著工藝、材料以及電路設計的進步,未來性能均衡、成本低廉的SPAD 陣列將有望得到普及。目前基于CMOS 的SPAD 像素在性能接近或超越定制工藝SPAD 的同時還具備大規模集成的潛力。2022年報道了一種基于標準180 nm 工藝的SPAD 像素[43],峰值PDP 達到55%,時間抖動最低為12.1 ps,死時間低至3 ns 且最低暗計數為0.06 cps/μm2。目前該SPAD 像素還并未形成足夠規模的SPAD 陣列,如何在性能不退化的前提下將這類高性能SPAD 像素進行集成是未來仍需要解決的問題。

2 基于SPAD 陣列高速單光子探測能力的成像技術

在一些不需要精確光子時間信息的成像應用中,SPAD 陣列能夠以光子計數模式工作并以極高的幀率獲取二維單光子圖像,這使得SPAD 陣列在弱光環境下的成像性能非常出色。在一些典型的弱光成像應用中,例如生物醫學顯微成像,SPAD 陣列得到了廣泛應用并在成像速度、圖像信噪比等方面取得了新的突破。

2.1 超分辨生物顯微成像

傳統生物顯微成像的分辨率一般被限制在衍射極限內,如何突破衍射極限獲取高分辨圖像一直是研究人員關注的熱點。實現超分辨顯微成像的一種方法是通過對生物組織中單個熒光分子進行精準的定位[44],即單分子定位超分辨顯微成像技術(Single Molecule Localization super-resolution Microscopy,SMLM)。當熒光分子在生物組織中的數量很少且呈現稀疏分布時,即使單個分子產生的衍射光斑具有一定的面積,也可以通過估計衍射光斑的中心來對確定單個熒光分子的位置,從而突破衍射極限并探測生物樣本的精細結構。然而,單個熒光分子閃爍的亮度很低,同時熒光的持續時間也很短,如何準確記錄單個分子的閃爍是SMLM 的關鍵。最早研究人員使用電子倍增電荷耦合器件(Electron-multiplying Charge-Coupled Device,EMCCD)以及科研級互補金屬氧化物半導體(scientific Complementary Metal-Oxide-Semiconductor,sCMOS)相機等器件進行超分辨成像,但系統噪聲[45]和成像速度[46]都還有待優化。SPAD陣列能夠以極高的幀率探測單個光子,且不受讀出噪聲的影響,為實現更高速、更高精度的SMLM 提供了可能。2016年ANTOLOVIC ⅠM 等[47]首次使用512×128 像素的SPAD 相機進行了生物熒光超分辨成像的實驗,成像結果的空間分辨率為100 nm,時間分辨率由sCMOS 的毫秒量級提升至微秒量級,為分析熒光染料的光物理特性提供了有效的途徑。針對SPAD 陣列填充因子較低的問題,GYONGY Ⅰ等[48]提出了一種智能疊加算法,通過只疊加包含有效信號的圖像幀提高光子信息利用效率并抑制背景噪聲。該團隊利用320×240 像素的SPAD 陣列準確地提取出熒光分子發生閃爍時的圖像并進行累加,實驗結果表明盡管SPAD 陣列的光子探測效率更低,但通過智能疊加算法得到的SMLM 成像結果與商用EMCCD 相機接近。2017年ANTOLOVIC ⅠM 等[49]使用安裝微透鏡的SPAD 陣列進行了SMLM 實驗,SPAD 陣列的填充因子從5%提升至60%,成像結果的空間分辨率提升至80 nm,見圖1。隨后GYONGY Ⅰ等[39]使用像素間距僅為8 μm 的SPAD 陣列進行SMLM 實驗,較小的像素間距使得相同視場內的有效像素數量明顯增加,另外柱形微透鏡使該陣列的填充因子達到50%,進一步提升了光子探測效率,最終成像結果的空間分辨率為40 nm。

圖1 sCMOS、SPAD 陣列、EMCCD 的超分辨成像結果與衍射受限成像結果的對比[49]Fig.1 The comparison between the diffraction-limited images and the super-resolution images taken by a sCMOS,a SPAD array and an EMCCD[49]

與EMCCD 以及sCMOS 等探測器相比,目前SPAD 陣列在像素規模、像素填充因子以及探測效率等方面還有待提高。隨著微透鏡技術的普及與先進制程CMOS 工藝的應用,SPAD 陣列的空間分辨率及光子探測效率將不斷提升。未來SPAD 陣列有望替代現有的EMCCD 與sCMOS,為揭示納米尺度下細胞的精細結構提供有力的工具。

2.2 散射關聯成像

無損地監控生物組織深層結構的動態變化是一項非常有挑戰性的任務,同時在很多應用場景中具有實際意義,例如在臨床醫學中實時監測大腦的血流量。散射關聯頻譜成像技術(Diffuse Correlation Spectroscopy,DCS)是一種很有潛力的無損光學監測技術[50]。DCS 將相干光耦合至目標物體中,通過測量出射散斑的時間相關性來監測深層組織的動態變化情況。當光源與探測器的間隔增大時,探測器接收到的光子在組織中的傳播深度越深,但到達探測器的散射光子數量會因為散射和吸收等因素而減少,信噪比也會相應降低。DCS 的主要測量對象是生物組織,光源的強度會被限制在安全范圍以內,因此提高信噪比的關鍵在于使用高性能的探測器。SPAD 陣列的高靈敏度和高幀率能夠有效地探測來自深層組織的散射光子,同時能夠以較高的時間分辨率監測散斑的動態變化情況。另外SPAD 陣列的多個像素能夠并行地測量多個散斑,進一步提升信噪比。2007年,JAILLON F等[51]使用23 個雪崩二極管同時測量散斑,并測量出在8 Hz 閃爍光照下人類大腦皮層的活動情況。2019年JOHANNES J D 團隊[52]使用5×5 的SPAD陣列初步驗證了多散斑并行采集時信噪比的提升。隨后集成度更高的32×32 像素的SPAD 陣列也被應用于DCS,在相同的條件下比基于單點探測器的DCS 有大約32 倍的信噪比提升[53]。2020年LIU W 等[54]進行了基于SPAD 陣列的大腦皮層血流量監控實驗,實測數據表明基于SPAD 陣列的DCS 對腦血流監測結果與商用心電圖監控儀基本一致,展現出了DCS 在實際臨床診斷中的應用潛力,見圖2。

圖2 基于SPAD 陣列的DCS 系統示意圖[54]Fig.2 The schematic diagram of the DCS system based on a SPAD array[54]

隨著SPAD 陣列集成技術的進一步發展,超大像素規模的SPAD 陣列也已經出現,這些新的設備在DCS 中的應用將會進一步提高信噪比與成像速度。另外,近紅外生理窗口(650~950 nm)波段的光在生物組織中的穿透性較強[55],通過針對性的設計[56]或基底材料的優化[57]可以提高SPAD 在該波段的光子探測概率,進而有效提升DCS 的探測深度。SPAD 陣列還可能結合FPGA 直接進行快速的散斑自相關運算[58],可以顯著地提升系統集成度與成像速度,將有望實現DCS 無損探測設備的產品化和小型化,推動DCS 技術在實際臨床診斷中的普及。

2.3 高動態范圍成像

傳統的圖像傳感器例如電荷耦合器件(Charge-Coupled Devices,CCD)或CMOS 等基本都是線性響應的,即光電荷數量與入射光強成正比。線性響應傳感器在強光下很容易達到飽和[59],當單幀圖像曝光時間內的累積的光電荷達到飽和時,后續所有入射的光子都將被忽略。SPAD 陣列工作在蓋革模式下,在單個光子探測事件之后需要一定的時間(死時間)才能重新回到光子探測狀態。SPAD 在整個曝光過程中都能探測光子,但最高光子計數頻率與死時間相關。2019年INGLE A 等[60]利用SPAD 陣列的非線性光強響應特性,建立了在高光強情況下光子入射的時間間隔與入射光強的對應關系。連續兩個光子入射的時間間隔越短代表光強越強,因此SPAD 納秒級別的死時間提供了較高的光強探測上限,而在暗光區域SPAD 陣列原本就具備高信噪比,這些特性使得SPAD 陣列能夠實現高動態范圍成像。該團隊在實驗中將SPAD 陣列與普通相機的動態范圍特性進行了對比,SPAD 陣列的動態范圍達到106∶1,比普通相機高出兩個數量級,見圖3。除了將光強與光子入射間隔相對應之外,2019年ZARGHAMI M 等[61]建立了光強與光子到達時間概率分布的對應關系,從而利用SPAD 陣列強大的時間分辨能力實現了138.7 dB 的高動態范圍成像。SPAD 陣列的空間分辨率較低,但可以進行高動態范圍成像,而CMOS 相機具有很高的空間分辨率但動態范圍有限。2022年LIU Y 等[62]提出了一種基于深度學習的圖像融合方法,該方法通過結合SPAD 陣列的成像結果與CMOS 相機的成像結果以獲得高分辨率的高動態范圍圖像,利用了SPAD 陣列與CMOS 相機各自的優勢,是一種非常有前景的成像模式。

圖3 傳統相機與SPAD 陣列在高動態范圍場景下的成像結果[60]Fig.3 The images of a high dynamic range scene taken by a conventional camera and a SPAD array[60]

雖然目前SPAD 陣列的空間分辨率較低,需要結合掃描裝置或額外的圖像信息才能獲得高質量的高動態范圍圖像,但目前傳統成像設備的性能還難以滿足自動駕駛、目標識別等領域中對高動態范圍場景成像的需求,未來隨著高分辨率SPAD 陣列成本的不斷降低,SPAD 陣列有望推動高動態范圍成像在各領域中的普及。由于高動態范圍成像主要對SPAD 的光子計數頻率有比較高的要求,因此可以對SPAD 像素中的淬火電路以及后續信號讀出電路進行針對性的優化,提高SPAD 陣列的最高光子計數頻率,同時可以舍棄TDC 等時間測量電路以提高填充因子并降低大規模制造的成本。SPAD 陣列一般常用于弱光場景中,基于SPAD 陣列的高動態范圍成像研究為SPAD 陣列開辟了一個全新的應用領域,具有重要的研究價值和廣闊的發展前景。

3 基于光子飛行時間的成像技術

SPAD 陣列與時間測量電路的集成,例如TDC 與時間門控電路,使得SPAD 陣列在具備單光子探測能力的同時還能夠精確測量光子的飛行時間(Time of Flight,ToF),從而實現對高速物體的追蹤或者是拓展成像的維度。在這類需要測量光子飛行時間的應用中,一般需要在SPAD 陣列和高重頻脈沖光源之間建立時序同步以確定光子飛行時間的計時基準。

3.1 熒光壽命顯微成像

熒光顯微成像[63]被廣泛應用于生物醫學領域,熒光光強、偏振度以及熒光壽命等參數都可以用于圖像的生成。熒光壽命不容易受到光漂白、激發光強以及熒光分子濃度等因素的影響,因此熒光壽命顯微成像(Fluorescence Lifetime Imaging Microscopy,FLIM)[64-66]可以比較精確地區分不同來源的熒光信號。熒光壽命對外界環境變化以及分子間相互作用比較敏感,經常被用于對生物大分子結構、動力學信息和細胞微環境等進行精確測量與定量分析[67-68]。帶有時間選通門控電路或TCSPC 的SPAD 可實現對熒光壽命的高精度測量,然而基于單點SPAD 的FLIM 成像[69]需要對視場進行掃描,成像速度有限。寬視場FLIM[70]則是直接使用陣列式探測器采集視場中的熒光信息,成像速度得到顯著提升。近年來具備時間測量能力的SPAD陣列促進了寬視場FLIM 的迅速發展與應用。2014年FIELD M 等[25]使用SPAD 陣列實現了100 fps 的高速FLIM 成像。該陣列的空間分辨率為64×64 像素,每個像素內均有獨立的TCSPC 電路且時間分辨率為62.5 ps,使用FPGA 進行光子時間數據由SPAD 陣列向計算機的高速傳輸,理論最高成像速度可達400 fps。2015年POLAND S P 等[71]使用32×32 的SPAD 陣列結合多點聚焦實現了64 倍的成像速度提升,并進行了對蛋白質分子相互作用過程的FLIM 成像,見圖4。2020年ZICKUS V 等[72]使用500×1 024 的SPAD 陣列進行了寬視場FLIM 成像實驗,同時使用神經網絡進行熒光壽命估計,速度比傳統擬合方法提高了1 000 倍。在空間分辨率為50 萬像素的情況下,該系統的成像速度達到1 Hz。該成果的空間分辨率接近單點掃描FLIM 的水平,而成像速度有了顯著提升,證明了寬場FLIM 成像的應用潛力。

圖4 基于SPAD 陣列的寬視場熒光壽命成像與熒光強度成像的對比[71]Fig.4 The comparison of the widefield FLIM captured by a SPAD array and the fluorescence intensity microscopy[71]

雖然大部分基于SPAD 陣列的寬視場FLIM 成像在空間分辨率、信噪比等方面還無法超越單點掃描FLIM 成像,但寬視場FLIM 具有很高的成像幀率,對生物樣本的光損傷也相對較低,能對活細胞或是生物組織進行實時監測,在細胞分子動力學研究中有廣闊的應用前景。未來適用于寬視場FLIM 成像的SPAD陣列需要在保持較高的成像分辨率與幀率的情況下限制功耗并提升探測效率。理論上在SPAD 陣列中的每個像素內都集成TDC 能夠提供最高的光子時間測量容量,可以改善信噪比與成像幀率,但是這會影響填充因子并導致較高的功耗。使用多像素共享TDC 的方案可以緩解性能與功耗之間的相互制約,但是需要根據成像場景的光通量設置合適的共享TDC 數量,以保證信噪比和幀率不受影響。另外,高分辨與高幀率的FLIM 成像還需要解決大量光子時間信息的傳輸問題,可以結合高性能FPGA 進行熒光壽命的預估計或光子數據的壓縮,降低所需的數據傳輸帶寬,進一步推動寬視場高速FLIM 技術的實用化。

3.2 單光子激光雷達

單光子激光雷達使用激光主動探測目標物體,通過測量返回光子的飛行時間獲取深度信息,能夠以較高精度重建遠距離目標物體的三維形狀,被廣泛應用于自動駕駛、機器視覺以及遙感測繪等領域?;陉嚵惺絊PAD 的單光子激光雷達系統相比于傳統的單點掃描方式,在采集速度上有明顯的優勢,適用于自動駕駛等需要實時三維場景信息的領域。2014年NICLASS C 等[73]使 用64×6 的SPAD陣列結合高速旋轉的掃描反射鏡實現了空間分辨率為340×96 像素、成像速度為10 fps 的高速三維成像,在128 m 距離上的深度測量誤差為3.8 cm。2017年PERENZONI M 等[74]使用64×64 的SPAD 陣列對5.8 km 外的目標物體以7 fps 的速度進行三維成像,成像精度為0.5 m。2019年ZHANG C 等[75]使 用252×144 的SPAD陣列實現了30 fps 的高速三維實時成像,最大探測距離為50 m,精度為0.14 cm,見圖5。2019年HUTCHINGS S W 等[76]報道了一種基于3D 堆疊技術制造、填充因子達到51%的SPAD 陣列,并使用此SPAD 陣列實現了空間分辨率為64×64 像素、成像速度為30 fps 的三維成像。為了改善目前SPAD 陣列空間分辨率仍然較低的缺點,還可以將SPAD 陣列與掃描系統結合以獲得更高的空間分辨率,但代價是降低了成像速度。2019年CAO Jing 等[77]使用16×1 的線陣SPAD 結合掃描系統在0.5 m 距離下獲得了空間分辨率為320×160 的深度圖像,深度測量精度為厘米量級。2021年XUE R 等[78]使用32×32的SPAD 陣列,結合像素內微掃描技術獲得了32×520像素的大范圍三維圖像,數據采集時間為7 s,同時該團隊使用像素復用方法有效緩解了熱像素的噪聲影響。

圖5 SPAD 陣列采集的連續6幀深度圖像,速度為30幀/秒,其中一只手正在緊握和松開[75]Fig.5 Six successive frames from a 3-D movie at 30 frames/s captured by a SPAD array,in which a hand is clenching and unclenching[75]

在硬件方面,SPAD 陣列的時間分辨能力是激光雷達應用所需要的關鍵指標??梢詫PAD 陣列中光敏區域的厚度以及淬火電路進行優化,降低探測器的時間抖動,同時應該根據應用場景確定合適的時間分辨率與量程并搭配相應的TDC 電路。微透鏡技術以及3D 電路堆疊技術可以顯著提升SPAD 陣列填充因子,從而提升激光雷達系統的探測效率與成像速度。另外相比于單點掃描結構,基于SPAD 陣列的激光雷達的光源能量更為分散,因此搭配更高脈沖能量、更高重頻的激光器也是提高探測距離與成像速度的關鍵因素之一。在算法層面,現有的單光子激光雷達往往需要多次探測以準確估計反射光信號的到達時間,首光子成像算法[79-80]的應用能夠有效降低現有單光子激光雷達系統對入射光子數量的要求。

3.3 光脈沖飛行成像

SPAD 陣列能夠在全視場范圍內并行采集光子數量以及飛行時間信息,對于在視場內以光速運動的激光脈沖,可以利用SPAD 陣列的數據重建激光脈沖的飛行過程,即光脈沖飛行成像(Light-in-Flight imaging,LiF)[81]。相較于基于全息干涉[82]、條紋相機[83]或是光子混合器件(Photonic Mixer Device,PMD)[84]的LiF 成像,基于SPAD 陣列的LiF 成像系統具有結構簡單、成本低與精度高等優點。2015年GARIEPY G 等[85]首次使用32×32 的SPAD 陣列記錄并重建激光脈沖在空氣中的三維飛行軌跡(x,y,t)以及激光誘導熒光的過程。對以光速運動的物體的成像與常規成像場景不同,如果忽略光信號由目標傳播到探測器的時間,則有可能因相對論效應導致最終成像結果失真[86-88]。2016年LAURENZIS M 等[89]利用激光脈沖在空氣中沿直線傳播的特點,通過關聯32×32 的InGaAs SPAD 陣列中多個像素的相對位置以及飛行時間數據計算出了激光脈沖的傳播角度,并觀察到激光脈沖在不同傳播角度下會表現出不同的飛行速度。2020年ZHENG Y 等[90]意識到可以進一步利用激光脈沖的傳播角度計算出光信號的傳播時間從而補償相對論效應,并首次使用32×32 的SPAD 陣列得到了四維(x,y,z,t)LiF 成像結果,見圖6。2021年KAZUHIRO M 等[91]使用1 024×1 000 像素的SPAD 陣列實現了更精確的四維LiF 成像。IMOGEN M 等[92]在已知激光脈沖四維飛行軌跡的基礎上進一步建立了SPAD 陣列采集的光強數據與激光脈沖真實強度之間的關系,從而利用32×32 的SPAD 陣列實現了能夠校準光強的四維LiF 成像。

圖6 基于SPAD 陣列的四維LiF 成像結果[90]Fig.6 Four dimensional LIF imaging with a SPAD array[90]

在LiF 成像中,各像素采集的光子信息并不是相互獨立的,可以通過關聯多個像素的相對位置以及飛行時間等信息拓展LiF 成像的維度。適用于LiF 成像的SPAD 陣列應當具有較高的時間分辨能力與填充因子。較高的填充因子可以降低SPAD 視場中的盲區,使得激光脈沖在飛行過程中的強度與形狀被完整地記錄,而SPAD 陣列的時間分辨能力可以使人們精確地記錄并分析激光脈沖隨時間的變化情況。未來隨著SPAD 陣列的進一步發展,可以利用SPAD 陣列對一些更復雜的超快過程進行成像,例如觀測超快激光脈沖與物質的相互作用過程[93]。

3.4 基于光子飛行時間的非視域成像

傳統光學系統往往依賴于光的直線傳播原理以及物點與像點之間的一一對應關系,成像的目標僅限于視場之內。然而在自動駕駛、地震救援與軍事偵察等領域,僅有視場內目標物體的信息并不能完全滿足需求,如何將成像的范圍拓展至直接視域外是近年來成像領域的研究熱點?;诠庾语w行時間的非視域(None-line-of-sight,NLOS)成像因其測量范圍大、重建精度高等優點成為了NLOS 成像的一種主要實現方案。在基于光子飛行時間的NLOS 成像中,脈沖光于中繼面上散射后與直接視域之外的目標物體發生二次散射,最終攜帶物體信息的部分光子再回到中繼面上并被探測器所接收。

條紋相機、ICCD 以及PMD 等設備[94]最先被應用于NLOS 成像中,隨后單點SPAD 加掃描振鏡[95-98]的結構因其高精度、低成本與靈活性高等特點被廣泛應用于NLOS 成像中。然而基于單點掃描的NLOS 成像系統始終難以突破成像速度的瓶頸,因此人們開始將SPAD 陣列用于NLOS 成像系統中以提高成像速度。2015年MARTIN L 等[99]使用32×32 的InGaAs SPAD 陣列進行了NLOS成像實驗。受制于SPAD 陣 列250 ps 的時間分辨率,該系統只能大致對目標進行定位,但采樣時間僅為340 ms,相比之下使用單點SPAD掃描的采樣時間則需要5~30 min。該實驗初步驗證了SPAD 陣列具備提升NLOS 成像速度的潛力。2016年GENEVIEV G 等[100]使用時間分辨率為45.5 ps 的SPAD 陣列實現了對非視域目標物體的實時定位,定位精度達到厘米量級,見圖7。WU Jingyao 等[101]通過理論仿真驗證了基于SPAD 陣列的NLOS 成像的可行性與高效性。在NLOS 重建算法方面,反投影算法[102]適用于SPAD 陣列,但計算時間較長且重建精度較低。光錐變換算法[103]、頻率波矢遷移[104]以及虛擬波[105]等算法在時間復雜度以及重建精度上都有較好的表現,但這些算法的有效性只在共焦探測下得到了實驗驗證,無法直接用于SPAD 陣列采集的非共焦數據。理論上可以對非共焦數據進行變換以得到近似的共焦數據[106],從而使用上述高效的算法進行重建。

圖7 基于SPAD 陣列的非視域目標追蹤系統[100]Fig.7 NLOS target tracking system based on a SPAD array[100]

目前SPAD 陣列在時間分辨率以及暗計數等性能指標上與單點SPAD 還存在一定差距,基于SPAD 陣列的NLOS 重建算法還不成熟,但SPAD 陣列在成像速度以及系統集成程度方面優于單點SPAD 加掃描振鏡的結構。在一些應用場景中,例如自動駕駛,對NLOS 成像系統的實時性與便攜性會有非常高的要求。另外,三維NLOS 成像的縱向分辨率主要取決于SPAD 的時間分辨能力,使用時間分辨能力更強的SPAD陣列可以重建出更豐富的三維物體細節,因此適用于NLOS 成像的SPAD 陣列在時間分辨率上還需要進一步提升。隨著SPAD 陣列性能的提高以及非共焦重建算法的優化,未來基于SPAD 陣列的NLOS 成像系統將有望取代現有的掃描成像構型,進一步推動NLOS 成像的普及化與實用化。

3.5 時域散射成像

如何對散射介質之后的物體進行成像,一直是光學成像領域中的難題,其中最大的障礙就是攜帶物體信息的光子在經過散射介質時會發生隨機散射而導致信息丟失。在散射介質之后的物體自身發出或反射的光子中,有少部分光子在經過散射介質時未發生散射或散射次數較少,這類光子保持原有傳播方向不變且攜帶目標物體的信息,此類光子被稱為彈道光子(Ballistic Photons)及蛇形光子(Snake Photons)[107]。由于被散射的次數較少,彈道光子與蛇形光子總是比多次散射的光子更早到達探測器,因此可以在時域上篩選出這類光子。隨著散射介質厚度的增加,這些直接攜帶物體信息的光子所占的比例會不斷降低,增加了探測難度。SPAD 陣列能夠精確地測量單個光子的到達時間,因此可以使用SPAD 陣列探測并篩選出彈道光子以及蛇形光子。2017年TANNER M 等[108]使用32×32 的SPAD 陣列,通過時域彈道光子以及蛇形光子篩選的方式實現了對動物體腔內光纖的末端定位,精度達到厘米量級,初步驗證了SPAD 陣列在真實臨床條件下透過生物組織進行成像的能力。為了提高光子數據的利用率,還可以建立光子在散射介質中的傳播模型,從而利用所有光子的數量信息以及時間信息反解出目標物體的形狀。2016年GUY S 等[109]使用條紋相機與卷積模型實現了高精度的散射成像,空間分辨能力相比于其他篩選部分光子進行成像的方法提高了兩倍,該方法同樣適用于SPAD 陣列。2017年GUY S 等[110]使用32×32 的SPAD 陣列以無損探測的方式測量了散射光子的時空信息,并通過卷積神經網絡(Convolutional Neural Network,CNN)實現了對散射介質后物體的分類,見圖8。2019年ASHLEY L 等[111]建立了光子密度波在強散射介質中的傳播函數,并通過不斷迭代的方式使利用模型預測的光子時空分布與SPAD 陣列的實測結果逐漸接近,從而重建出厚散射介質內部物體的大致形狀。由于光在薄散射介質中傳播的過程與光被漫反射面散射的過程類似,因此一些非視域成像中的探測架構與算法也可以用于散射成像。2020年LINDELL D 等[112]使用單點SPAD 搭建了共焦探測系統,并借鑒非視域成像中的光錐變換算法實現了對薄散射介質后方物體的成像。類似地,利用SPAD陣列以及反投影算法等適用于非共焦探測系統的重建算法,理論上也能夠實現散射成像,而且基于SPAD陣列的成像系統在成像速度上更有優勢。

圖8 結合SPAD 陣列與深度學習實現散射介質后物體的分類[110]Fig.8 Object classification through scattering media with deep learning and a SPAD array[110]

散射成像的難點在于散射介質把原本包含物體信息的光場變得完全混亂,單純從空域上的光強分布難以辨認物體細節。SPAD 陣列能夠在空間域以及時間域上提供豐富的光子信息,從建模角度可以結合時域與空域信息建立更完善的散射傳播模型,而利用深度學習、神經網絡等手段則能夠通過額外的時間維度信息更精確地建立目標物體細節與光子數據之間的對應關系,實現更好的成像效果?;赟PAD 陣列的時域散射成像將會是解決散射成像問題的有力手段之一。

4 總結與展望

SPAD 的發展與其他光電探測器類似,都經歷了由單點探測器到多像素陣列的過程。得益于CMOS 技術的應用,SPAD 陣列在像素規模以及電路集成度上發展十分迅速,短短十幾年間就從幾十像素、僅有光子計數功能的簡單陣列發展到百萬像素且具備時間測量功能的超大規模SPAD 陣列。在像素規模逐漸增大的同時,光子探測效率、暗計數、光譜響應范圍以及時間分辨率等關鍵參數也隨著相關技術的發展而不斷優化。光學成像具有悠久的歷史,隨著科學的發展與技術的進步,人們的研究興趣也從傳統成像逐漸拓展至極端條件下的成像,例如超分辨成像、極弱光成像以及超視距成像等等。SPAD 具備單光子靈敏度和ps 級別的時間分辨能力,在極端條件下依然能夠獲取光子信息。在早期SPAD 陣列性能還不夠完善時,為了獲得二維圖像人們往往將單點SPAD 探測器與掃描裝置結合。隨著SPAD 陣列的逐漸成熟,在車載激光雷達、生物醫學成像等對成像實時性要求較高的應用中,SPAD 陣列以其高效的并行單光子探測能力開始逐漸取代單點掃描系統。另外,利用SPAD 陣列的高動態范圍性能可以便捷地獲取高動態范圍圖像,有潛力解決目標識別以及自動駕駛中成像場景動態范圍變化過大的問題。在散射成像以及非視域成像中,SPAD 陣列的出現,使得原本被多路徑、散射等因素造成的復雜光子傳播過程在時域與空域上得以被區分,因此可以結合物理建?;蛏窠浘W絡等方法進一步獲取關于視域外或是散射介質之后目標物體的信息,突破了傳統成像中“光沿直線傳播”的物理限制。利用SPAD 陣列的高時間分辨率以及并行采集能力還可以追蹤在視場中高速運動的激光脈沖,有助于推進對一些超快光學現象的研究。

近年來SPAD 陣列在像素規模、時間分辨能力、暗計數以及探測效率等方面的進步促進了各種成像應用的發展,但隨著SPAD 陣列像素規模的不斷擴大,人們對SPAD 陣列的性能要求與有限像素面積、有限功耗之間的矛盾也日益顯現。各種成像應用對高性能SPAD 陣列的需求促使人們不斷突破有限像素面積與功耗造成的瓶頸,例如最新的集成電路工藝可以用于制造性能均衡的SPAD 光敏單元,3D 電路堆疊技術以及微透鏡技術可以在保證附加電路性能的同時提升探測效率,這些技術為未來高性能SPAD 陣列的普及提供了可能。另外,在不同的應用場景中可以根據實際需求對SPAD 陣列的設計進行優化,舍棄不必要的功能以提升填充因子并降低功耗。在光譜響應方面,目前硅基SPAD 陣列的光譜響應峰值主要集中在可見光波段,可以通過結構和工藝優化提高硅基SPAD 陣列在近紅外波段的光子探測概率,從而利用近紅外光較強的穿透能力提升激光雷達與散射成像等技術的探測范圍?;贗nGaAs 或InP 等基底材料的SPAD 陣列能夠響應1 450 nm 以上的短波紅外光,因此這類SPAD 陣列在光纖成像以及量子光學等領域具有很大的應用潛力。SPAD 陣列能夠高效獲取光子時空域信息,如何最大限度地利用這些光子數據也是今后SPAD 陣列應用中需要解決的問題。除了建立光子傳播的物理模型之外,還可以利用深度學習等數據驅動的智能算法,從更高維度建立光子時空分布信息與目標特征的對應關系,從而深入挖掘SPAD 陣列數據中隱含的信息,提高成像的范圍、精度以及效率。今后SPAD 陣列將會在光學成像中發揮更重要的作用,為人們感知世界、認識世界提供更有力的工具。

猜你喜歡
光子分辨率像素
我國科學家發明計算超分辨圖像重建算法拓展熒光顯微鏡分辨率極限
“像素”仙人掌
首個三光子顏色糾纏W態問世
“十光子糾纏”成功實現
高像素不是全部
ARM發布顯示控制器新品重點強化對分辨率的支持
神回復
從600dpi到9600dpi
銳化與顯示器分辨率
您的像素,飽和嗎?[上]
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合