構建醫療PACS三級異構存儲系統之探索

董曉睿，于宗一，管曉飛，曲 強，辛海燕

（青島大學附屬醫院 山東 青島 266003）

1 引言

大數據與醫療深度融合已成為國策，醫療大數據的發展改變了傳統的就診模式和醫院管理方式，為疾病早預防、早診斷和早治療提供了重要的手段，助力了整個醫療產業轉型升級。CT、核磁、PET-CT以及不計其數的小型設備每天產生的海量影像數據中蘊含著巨大價值，如何永久歸檔這些數據是醫療大數據發展中必須解決的問題。PACS是影像學與計算機科學的結合體，已成為影像科室的重要診療工具，隨著系統功能不斷演化拓寬，不少短板逐漸顯現，其中存儲空間問題尤為嚴峻[1]。為高效、安全、長期的歸檔并管理數據，可根據調用頻率由高到低將數據分為熱、溫和冷三類數據，使用不同的存儲介質歸檔這三類數據以可發揮介質各自的優勢，在增大存儲空間的同時降低運維成本。除硬件層面，采用相應的管理系統也是提升整體性能的關鍵，新型異構并行存儲軟件系統是一種將二級近線存儲和三級離線存儲進行統一管理的智能化平臺，可最大化發揮異構存儲的優勢。

2 數據存儲現狀

PACS系統是專為醫療影像的全數字獲取、傳輸、歸檔、分析和查閱而設計的綜合性系統，已成為現代放射學實踐的基本技術和設施。在PACS數據中，就醫者信息和報告等占空間較小的文字類信息保存于關系型數據庫服務器，而體量較大的圖像數據則保存至專用的對象存儲系統[2]。近些年影像數據量激增并持續呈增長態勢，給存儲帶來巨大挑戰，主流PACS存儲具有一定擴容性，可在有限范圍內實現無縫容量擴展，但卻無法實現從TB級到PB級的跨越。近3年青島大學附屬醫院每年產生近百TB的影像數據，以2019年為例，全院影像數據日均生成200 GB左右，1年內的數據全部儲存至在線存儲，由于一級在線存儲采用固態硬盤，因此存儲設備運維成本較高。當PACS存儲系統檢測到在線數據容量超過預設閾值后，會自動將在線數據遷移到近線網絡附屬存儲（NAS）歸檔，NAS磁盤目前已存儲百TB級的歷史數據。在未來幾年內，即使采用高效的壓縮技術也無法完全解決數據量達到PB級后所帶來的空間壓力。隨著存儲技術的發展，PACS存儲的硬件架構和軟件系統不斷迭代，圖1對比了傳統PACS異構存儲硬件架構和新型異構存儲硬件結構的不同，并展示了異構并行存儲軟件系統與硬件架構的關系。

圖1 新舊PACS異構存儲硬件架構對比

3 新型異構存儲硬件架構

使用不同介質存儲熱數據、溫數據和冷數據有利于兼顧性能與成本，可發揮各類介質的優點以便建立高效的存儲模式。主流PACS存儲系統多采用“在線+離線”兩級或“在線+近線+離線”三級的存儲架構，第一級在線存儲保存使用頻率較高的幾個月內產生的在線熱數據，第二級近線存儲保存調用頻率中等的溫數據，第三級存儲歸檔使用頻率較低的離線冷數據。一級存儲通常使用性能較高的閃存或固態盤，而二級或三級存儲使用成本相對較低的SATA盤，根據業務需求合理配比各級存儲容量，可使整個存儲系統達到性能和成本的最優平衡。除閃存、固態和磁盤之外，隨著技術迭代更替，性能更優的介質不斷涌現，新型異構三級存儲將充分利用新型存儲介質，以便提升整體硬件架構的性能與容量。

3.1 第一級存儲的改進

第一級在線存儲強調數據的高速讀取和寫入，新型異構存儲架構采用英特爾傲騰混合式固態盤，混合式固態盤將持久內存與QLC 3D NAND固態盤整合到一塊PCB板上。持久內存與傳統內存相比有兩點優勢，一是提供更大的存儲空間，最高可支持512 GB；二是可在斷電期間保存數據，非常適合作為固態盤的緩存，保證讀寫低延遲。板載持久內存為固態硬盤加速，理論上可大幅提升混合式固態盤的性能，同時持久內存分擔了部分讀寫任務，因此固態盤顆粒的壽命得以延長。許多數據中心已開始部署這款產品，中國聯通在“沃云”升級過程中，利用該存儲技術無縫快速提升了平臺的資源池，滿足了業務爆發式發展下對基礎存儲承載能力的新需求。

3.2 第二級與第三級存儲的融合

第二級近線存儲保存幾年以內的溫數據，第三級存儲負責永久保存調取頻率較低的離線冷數據。受醫院規模和歷史數據量較小的影像，國內部分醫院的PACS存儲系統未設置第三級離線存儲，而將所有歷史數據保存至第二級近線NAS磁盤中，但NAS不能滿足永久保存歷史數據的需求。部分醫院為PACS配備了第三級離線磁帶庫，但卻采用了分離式的二級與三級存儲，無形中增加了各級存儲間交互的開銷。自1956年IBM發布首臺磁存儲以來，單存儲設備的容量已經增加了10億倍，被廣泛用于數據存儲，但壽命短、功耗大、易干擾等問題始終存在。光存儲誕生于1978年，具有壽命長、穩定性高、信息密度高、功耗低等優點，使之得到迅猛發展，但讀寫速度較慢且不可重復使用。新型異構存儲硬件架構采用SATA磁盤庫作為二級近線存儲介質，三級存儲則用藍光光盤代替，并采用統一的軟件平臺管理第二級與第三級存儲，使磁盤庫與藍光光盤庫有機融合。松下藍光光盤庫作為一種成熟的技術，2020年已經應用于中央電視臺音像資料館特藏系統，該藍光光盤庫存儲介質主要由藍光光盤組成，搭配少量本地磁盤作為緩存，根據業務需求可調整光磁空間比例。藍光光盤機柜由三種模塊構成，分別是若干個盤匣裝載模塊、1～2個光驅模塊與1個機械臂模塊，三種模塊放置于同一個標準機柜中。設備可采用單機柜或多機柜的靈活部署方式安放于機房，藍光光盤庫除了壽命長、穩定性高、信息密度高、功耗低等優點，對機房溫度濕度等環境因素要求較低[3]。盤匣裝載模塊由76個藍光盤匣組成，一個盤匣是最小物理存儲單元，包含12張專業歸檔級藍光光盤，單盤容量300 GB，保存數據可達百年之久，并支持多種RAID模式，單機柜可容納最多6個盤匣裝載模塊，若采用RAID0模式，單機柜容量可達1.6 PB。光驅模塊由多個驅動器構成，可同時讀寫6張盤，最高讀速度為540 MB/s，寫速度為375 MB/s。機械臂在柜體中上下移動抓取光盤匣并運至光驅模塊[4]，數據經多臺光驅導入或導出本地磁盤緩存，以實現高效自動轉存，圖2展示了由統一的異構并行存儲軟件系統管理的融合了二級和三級存儲的異構存儲硬件架構，管理軟件運行在單獨的冗余交換機中，業務交換機也具有冗余功能，負責利用業務網傳輸海量影像數據，管理交換機通過管理網連接第二級、三級存儲和管理軟件服務器。

圖2 融合二級近線與三級離線存儲的硬件架構

4 異構并行存儲軟件系統

異構并行存儲軟件系統發揮了藍光存儲和磁盤存儲的優勢，可解決數據傳輸量大、冷數據永久備份、存儲擴展成本高等諸多問題，實現了醫療影像大數據的分級存儲和協同管理。

4.1 軟件系統的優勢

該軟件系統支持異構存儲架構與并行讀寫模式，可將多臺存儲機柜融合為統一的虛擬存儲池，在無需用戶干預的情況下，將數據分布式儲存至各機柜中。該管理軟件可根據業務實際需求進行配置與調參，通過存儲優化算法，根據數據內容、日期、體積等元數據標簽將數據進行歸檔，方便其在磁盤庫與藍光光盤庫間遷移。借助光盤高密度、易搬移的特點，該系統將單個或多個光盤匣組成一個最小邏輯單元。通過對邏輯單元的跨機柜管理，將離散的存儲介質化為統一的虛擬存儲池，實現多機柜并行協作，以滿足非在線數據的讀寫帶寬需求。近些年青島大學附屬醫院每年產生的PACS數據經過RAID冗余處理需占用空間近百TB，若未來5年容量消耗以20%的速度遞增，僅需1臺42 U標準光盤庫即可滿足空間需求，單臺光盤庫雖減少了設備采購成本與機房空間，卻無法發揮管理軟件多機柜協同的優勢，會導致傳輸帶寬瓶頸。因此，可配置3臺藍光光盤庫，光盤庫均采用半高機柜，每個機柜由2個盤匣裝載模塊、1個光驅模塊與1個機械臂模塊組成，整個系統最高可支持18個光驅同時讀寫，并發讀取速度可達1 620 MB/s，并發寫入速度可達1 125 MB/s。管理軟件利用通用唯一識別碼（UUID）標注最小邏輯單元[5]，將UUID與所存內容的元數據關聯，可實現跨院區與地區的數據資產全域檢索、索引同步等智能管控。

4.2 管理軟件的構成

圖3 中綠色部分展示了管理軟件與各級存儲的交互方式，該管理軟件由6個功能模塊構成，分別是元數據管理、權限管理、數據應用、系統運維、數據接口與調度管理。元數據是描述數據的數據，為更好地理解數據并充分挖掘數據，元數據管理模塊描述了近線與離線數據的存儲位置、數據類型、生命周期、空間大小等信息，為其他功能模塊提供數據基本信息，并實時向在線存儲系統同步數據索引庫[6]。由于備份數據規模龐大，利用訪問控制策略對讀寫操作進行排隊和限制十分必要，權限管理模塊為數據安全提供保障，將用戶和用戶組作為最小顆粒度進行管理，提供靜態權限管理和基于時間與事件的動態權限管理，靜態權限管理為文件或文件夾設定固定的讀寫權限，而動態權限管理可按照預先設定的觸發事件實時變更目標文件的權限，例如僅允許某段時間范圍內的文件共享權限，該模塊還可為用戶和組設定優先級。數據應用模塊由Web端應用組成，用戶可通過Web客戶端查找數據、提取數據、了解資產概況等，若開通影像數據共享服務，則可實現膠片云端閱覽、避免數據孤島問題出現。系統運維模塊提供后臺管理工具，管理員可對存儲軟硬件狀態進行監控與配置調整。數據接口模塊向第三方在線存儲提供檢索、讀取和寫入的標準接口，以兼容不同的在線存儲系統。調度管理模塊負責數據傳輸任務的調度工作，根據預先設定的優先級和規則將傳輸任務合理排序。行業中以DICOM標準形式存儲數據，數據在各級存儲間遷移量巨大，數據遷移是PACS存儲系統中最棘手的問題，傳統存儲系統中由于缺乏對多級存儲的統一管理[7-8]，數據交換僅能發生在在線存儲與近線存儲或近線存儲與離線存儲之間，不能越級傳輸，該管理軟件通過對二級和三級存儲的統一管理，使一級在線存儲可直接與二級近線存儲或三級離線存儲進行交互，節省了傳輸帶寬并提高了讀寫效率。所有軟件功能模塊通過硬件控制接口操控底層硬件，硬件接口不僅避免了開發人員編寫底層硬件代碼，規范了硬件調用規則，還支持未來軟件模塊的開發，拓展了管理軟件的擴展性。

圖3 異構并行存儲軟件系統

5 總結

數據是數字時代的新石油，為保證PACS存儲系統長久、高效、安全地備份醫療影像數據，采用三級異構存儲硬件架構和異構并行存儲軟件系統的綜合存儲管理平臺利用了多種存儲介質的優點，提高了數據交互的效率，可有效管理PB級的存儲池，保證醫療影像數據的長久、安全、可靠。醫療影像大數據建設的持續發展可為醫生提供便利的歷史數據回溯工具，便于追溯患者久遠的影像資料、為醫療科研提供大數據依據、避免形成數據孤島，實現診斷、科研、數據共享等方面的共贏。