面向對象存儲系統的元數據安全技術研究

何麗麗

摘要：基于對象的存儲系統在學術研究、工程及服務等領域受到了廣泛關注及應用。隨著數據量的快速增長、數據安全性需求的不斷提高，對元數據服務器的性能和安全提出了更高的要求和挑戰。在對象存儲系統中，元數據服務器作為其核心和關鍵組成部分，其數據的性能及安全性直接影響到存儲系統的可用性。因此該文提出一種在對象存儲系統的關鍵路徑（元數據服務器）上采用異構冗余架構和RAID5機制保證數據的安全性和可用性，進一步保證了用戶正常的數據存儲和訪問服務。

關鍵詞：對象存儲；異構冗余；RAID5；元數據服務器

中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2016）04-0001-03

1 概述

對象存儲（Object Based Storage，OBS）技術是一種以數據為中心的網絡存儲模式，其中以對象作為基本的存儲和傳輸單位，將數據存儲和元數據管理分離開，克服了傳統網絡中存儲模式的缺陷與不足，并在安全性、跨平臺性、可用性及可擴展性等方面得到很大的發展和改善。

無論在生物醫學、新能源、航空航天等國家重大科學研究與工程領域，還是在教育、媒體、金融、醫療、交通、氣象等基礎設施服務領域，每天都會產生大量的文本、圖片及視頻數據，那么如何存儲和管理海量數據則將成為社會各界廣泛關注和重視的熱點問題[1]。直接附加存儲（Direct-Attached Storage，DAS）和網絡附加存儲（Network Attached Storage，NAS）的體系結構，由于其容量以及 I/O 性能限制，已經無法滿足日益增長的海量數據存儲和管理需求。后來又出現了一種新的網絡存儲技術--存儲區域網絡（Storage Area Network，SAN），它使用專用存儲網絡連接主機和設備，可以提供幾乎不受設備數量限制的存儲容量，適合海量數據的存儲。但是作為底層磁盤的設備卻無法驗證用戶的身份，安全性較差[2]。為了應對大數據及海量數據的存儲和管理，有人提出一種對象存儲技術，并將該技術應用到存儲系統中，從而催生出一種新的存儲系統——對象存儲系統?，F存的對象存儲系統不僅能夠提供海量數據存儲，而且還具備包含CPU、內存和網絡接口、身份認證功能的底層智能存儲設備，可以滿足海量數據存儲應用和管理需求。

對象存儲系統（Object-Based Storage System，OBSS）將對象接口和智能存儲設備（Object-Based Storage Device，OSD）相結合，將元數據信息與數據相分離，并交由元數據服務器（MetaData Server，MDS）來進行管理。當客戶端向存儲系統發送數據讀寫請求時，文件系統會向元數據服務器發送元數據信息請求，獲取要讀取數據所在的OSD；然后客戶端直接向數據所在的OSD端發送數據讀寫請求，OSD收到客戶端請求后，判斷要讀取的Object，并根據此Object要求的認證方式，對客戶端進行認證。如果此客戶端已得到讀取權限，則將客戶端請求的Object數據返回給客戶端，從而整個數據讀寫過程完成。

獨立磁盤冗余陣列RAID（Redundant Array of Inexpensive Disks）是一種把多塊獨立的磁盤驅動器（物理硬盤）按不同的組織方式組合在一起，形成一個向外界呈現出的硬盤組（邏輯硬盤），最終提供比單個硬盤更高的存儲性能，同時提供數據備份功能。隨著RAID技術的不斷完善和發展，按照磁盤陣列的不同組合方式將RAID分為不同的級別（RAID0--RAID6），還有一些其他的組合方式，例如RAID01、RAID01等，但所有組合方式的RAID都具備一個共同的特點，則就是提供更高的傳輸速率和更強的容錯功能。其中RAID5以其存儲性能高、數據安全和存儲成本兼顧的優點，被廣泛應用于重要數據的存儲。RAID 5不對存儲的數據進行備份，而是把數據和相對應的奇偶校驗信息存儲到組成RAID5的各個磁盤上，并且奇偶校驗信息和相對應的數據分別存儲于不同的磁盤上。不僅保證了數據的安全性和完整性，而且還在一定程度上節省存儲空間、提高存儲效率。

上圖（圖1）為RAID5結構圖，磁盤中存儲數據是按照塊進行存儲的，當存儲一個文件時，首先需要將文件進行分塊，然后依次存入至RAID5包含的物理磁盤中。其中block 1a、block 2a、block 3a同屬于一個條帶，三個數據塊經過異或操作計算出parity校驗塊。當其中一個數據塊丟失或損壞時，可由其他兩個塊和校驗塊求異或操作計算恢復，具備較高的安全性和容錯性。

伴隨大數據時代的到來，存儲的數據量和規模也在不斷擴大，對于存儲系統也提出了新的挑戰。在大規模的OBSS中，將元數據管理從文件的讀寫操作中分離出來，進一步減輕了元數據服務器端的負擔，提高系統的并行性和高效性[3]。相對于整個系統的數據存儲量而言，元數據的存儲量僅僅只占據其中很小的一部分，但是整個存儲系統的訪問請求中大致有50%-80%都是元數據訪問請求[4]。因此，可以看出元數據服務器的性能及安全可靠性直接影響到對象存儲系統的性能和安全可靠性，那么如何保證元數據的高性能并發訪問和安全可靠性將成為研究的熱點話題。

在學術界，對存儲安全的研究主要由高校和企業的實驗室提出一些原型方案。當前流行的網絡存儲架構主要包含：NAS、SAN和OBSS。其中SAN和OBSS存儲系統是建立在完全分布式的存儲安全解決方案之上，也是面向下一代互聯網存儲安全的發展趨勢。對象存儲文件系統已經在多個大規模集群上得到應用，因而對象存儲將成為未來集群存儲的重要發展方向[5]。

針對于對象存儲系統安全的研究，學術界已有人提出一種基于身份認證的對象存儲系統架構，保證了對象存儲系統的安全性。但對于OBSS中的關鍵路徑--元數據服務器的安全性保證卻未考慮。因此本文擬在基于身份認證的對象存儲系統架構下，提出一種異構冗余對象存儲系統，在性能上，元數據服務器端采用冗余機制進行元數據訪問請求的處理，進一步提高處理性能和效率；在存儲效率上，采用RAID5機制對元數據進行存儲，該存儲機制不僅可以提高存儲效率，而且可以在數據損壞或丟失的情況，通過RAID5的恢復機制對丟失數據進行快速恢復，保證系統提供正常的數據存儲和訪問服務。

2 對象存儲系統模型及相關概念

基于身份認證的對象存儲系統OBSS結構圖如下圖（圖2）所示

基于身份認證的OBSS由可信中心（Trusted Authority，TA）、MDS、客戶端（Client）、OSD通過千兆以太網互聯構成。TA提供用戶信息的存儲管理、用戶身份驗證、授權、證書的發放和撤銷等功能；MDS處理客戶端的元數據請求，主要包含文件的邏輯視圖、文件與目錄的組織關系、每個文件所對應的OSD、提供全局命名空間、管理文件到對象的映射、維護與對象相關元數據等功能；OSD使用Object組織形式對存儲的數據進行管理，將數據存放到磁盤的磁道和扇區，將若干磁道和扇區組合起來構成Object，并且通過此Object對外提供對象的接口和安全訪問。

從上述架構中可以看出，當元數據服務器出現機器故障、黑客攻擊等意外情況時，元數據服務器則將無法為整個存儲系統提供正常的元數據請求服務，客戶端則就無法獲取所需數據，從而導致整個存儲系統癱瘓。但對于大多數企業和公司來說，存儲系統長時間處于癱瘓狀態則是無法忍受，因此提高存儲系統的安全可靠性將變得至關重要。

基于性能和安全可靠性問題，本文提出一種在對象存儲系統的關鍵路徑（元數據服務器）上采用異構冗余架構和RAID5冗余機制保證存儲系統的性能和安全可靠性。

3 異構冗余+RAID5架構設計

3.1 異構冗余設計

在對象存儲系統中，元數據服務器作為關鍵路徑和系統的關鍵組成部分，是數據存儲和訪問的主要環節。首先，擬在對象存儲系統中搭建三臺系統級異構（如Windows、Linux、Unix等）的元數據服務器，在提供正常系統功能和性能的同時，提供了系統的多樣性和異構性。當黑客攻擊系統時，則無法預測當前服務器的環境和狀態，這樣就可進一步降低黑客侵入系統的可能性，提高了系統的安全性和可靠性。

為了提高系統的可靠性，已有人提出利用冗余技術來保證系統可靠性和服務的持續性。隨著大量冗余技術的出現和不斷完善，冗余技術在存儲器、服務器、電源、散熱系統中廣為使用，其核心目標都是為了提高產品的系統可靠性，保證系統為應用提供堅實可靠的服務保證。因此，本文擬將冗余技術應用到元數據服務器端，在OBSS中設置三臺MDS為用戶提供正常的元數據請求訪問，保證對象存儲系統的可靠性和服務持久性。

當元數據服務器出現故障或黑客攻擊時，如果僅僅只采用單臺元數據服務器來提供元數據訪問，這將使得系統的可用性（指在線提供服務的時間與總時間的比值） 明顯下降。在分布式存儲系統中，為了提供高可用的數據存儲和訪問服務，必須對數據進行冗余存儲，確保在部分節點失效的時候，仍能為用戶提供正常的數據訪問服務。本文擬使用三臺元數據服務器為對象存儲系統提供正常的元數據存儲和訪問服務，這樣做有以下幾大優點：1）當單臺服務器出現意外故障時，還可提供正常的數據存儲和訪問服務，很大程度上提高存儲系統的可用性；2）當對象存儲系統中的元數據服務器受到黑客攻擊侵入時，我們可通過對三臺元數據服務器的端口進行檢測，通過比對即可檢測出被黑客侵入的服務器，進一步提高系統的安全性；3）在三臺元數據服務器之間，整合存儲資源，并在其上部署RAID5架構。相對于三副本存儲來說，這樣既可以節省存儲空間，還可在黑客侵入后，減少不必要的數據丟失，進一步提高了存儲效率和系統安全性。

圖3為異構冗余對象存儲系統，當客戶端通過認證服務器認證后，將獲取到的證書和元數據請求發送到異構冗余MDS集群端，異構冗余集群會隨機選擇一臺元數據服務器對客戶端的元數據請求進行處理。在MDS集群中，我們擬將三臺MDS的存儲資源進行整合，并在其上部署RAID5架構，當被選中的元數據服務器處理完客戶端請求時，如要向元數據服務器寫入元數據信息時，則按照RAID5的存放機制將元數據分塊并分散存入由三臺MDS組成的RAID5中，以實現安全可靠存儲。

3.2 RAID5架構設計

為了提高數據的安全性和可靠性，現存的技術包含多副本存儲、糾刪碼等。由于多副本存儲雖然會提高存取速度，但會額外增加存儲開銷，降低了存儲效率。而RAID5在存取速度和存儲開銷之間進行折衷，提供了最佳的整體性能，是被廣泛用于數據保護的方案之一[6]。

RAID5 是一種保障數據存儲基本物理安全的技術，在面向企業的服務器及存儲系統中應用極為廣泛。其基本原理是通過多塊物理磁盤冗余配置形成一個邏輯磁盤，保證在單一物理磁盤故障時不會對邏輯磁盤造成破壞，以保障數據安全。為了進一步提高對象存儲系統的安全性和可靠性，本文擬將RAID5機制應用到對象存儲系統的元數據服務器中，通過將數據分散存儲在冗余MDS組成的RAID5上，不僅可以提高數據的可靠性，減少數據丟失帶來的經濟損失。而且在數據損壞或丟失的情況下，還可通過RAID5的恢復機制將損壞或丟失數據恢復，進一步為數據存儲和訪問服務提供安全可靠保障。

上圖（圖4）為元數據服務器架構。當用戶需要向對象存儲系統請求數據時，首先用戶會通過客戶端向元數據服務器發送元數據請求，然后通過產生隨機數和Hash算法的方法來隨機選擇一臺MDS，對用戶的元數據請求進行處理。如果元數據請求為寫入請求時，則經過所選擇的元數據服務器對請求進行處理，處理完成后，將生成的元數據信息保存在由三臺MDS服務器組成的RAID5中；當元數據請求為讀取請求時，則被選擇的元數據服務器通過請求信息迅速定位數據位置，從RAID5架構中將用戶需要訪問的元數據信息返回，為用戶提供正常的元數據訪問和存儲服務。

上圖（圖5）為三臺MDS部署RAID5的結構圖。其中A、B、C、D、E、F是原始數據塊，P1、P2、P3為校驗塊。數據塊A和B構成一個條帶，P1為數據塊A和B通過異或計算得到的校驗塊；數據塊C和D構成一個條帶，P2為數據塊C和D通過異或計算得到的校驗塊；數據塊E和F構成一個條帶，P3為數據塊E和F通過異或計算得到的校驗塊。從圖中可以明顯地看出該RAID5存儲架構的存儲效率為2/3，因為其中一個磁盤驅動器用于存儲條帶化數據的校驗信息。這種架構保證了較高的讀寫速度，相對于單磁盤驅動器來說，提高了2倍。

RAID5 陣列中的數據是分布到每塊硬盤上，RAID5中每個條帶組中總有一個條帶是校驗塊[7]。根據RAID5校驗位算法原理與數據塊存放規則，校驗塊P1=A XOR B，如果元數據服務器MDS-1受到攻擊或故障時，MDS-1上所存儲的數據塊B失效，則可以通過A、P1之間的異或運算重新計算得出，即B=A XOR P1。同理通過異或運算可計算出MDS-1上其他數據塊（E、P2等）。因此，當一臺MDS服務器受到損害或故障導致一塊驅動器失效的時候，仍可保證數據的完整性，并能提供正常的存儲和訪問服務。如果在恢復過程中，用戶需要訪問正在恢復的數據塊，這時校驗塊和另一個數據塊可通過異或計算為用戶提供正常的數據訪問服務，保證系統的可用性。

4 總結

OBS是繼NAS、SAN之后出現的一種新的網絡存儲模式，在系統性能、可擴展性和智能化存儲等方面都得到很大的發展和完善，應用極為廣泛。為了進一步提高對象存儲系統的安全可靠性，本文提出的這種在對象存儲系統的關鍵路徑--元數據服務器上采用異構冗余架構和RAID5機制來提高系統安全可靠性。通過異構冗余可防止元數據服務器出現單點故障問題，減少不必要的數據丟失和經濟損失；通過RAID5機制可以有效減少數據的冗余度，提高存儲空間利用率。還可在數據損壞或丟失的情況下，快速恢復丟失數據，進一步提供數據的可靠性。

參考文獻：

[1] 侯瑋瑋.基于內容存儲關鍵技術研究與實現[D].北京.北京郵電大學，2007.

[2] 陳濤，肖儂，劉芳.對象存儲系統中自適應的元數據負載均衡機制[J].Journal of Software，2013，24（2）：331-342.

[3] Mesnier M，Ganger G R，Riedel E.Object-based storage[J].IEEE Communications Magazine，2003，41（8） ： 84-90.

[4] Factor M M，Meth K，Naor D，et al.Object storage： the future building block for storage systems[C].Proceedings of the 2nd International IEEE Symposium on Mass Storage Systems and Technologies，2005： 119-123.

[5] 陳俊健.面向對象存儲系統安全技術研究[D].武漢：華中科技大學，2011.

[6] 魯恩銘，段益.RAID5結構剖析及其數據恢復策略研究[J].電腦開發與應用，2011，25（1）：6-8.

[7] 劉偉.數據恢復技術深度揭秘[M].北京：電子工業出版杜，2010.