基于Ceph分布式數據糾刪碼更新優化策略

張開碧 鄧杰銘 付蔚

【摘要】對于Ceph分布式存儲設備數量大的分布式集群，發生故障是在所難免，也是其一大挑戰。面對分布式存儲出現的故障，系統怎么能快速的發現故障，定義類型，并且解決故障呢。在現在最經常使用的方法是RS糾刪碼，糾刪碼可以保證系統的可靠性，用低冗余的方法進行數據的恢復，糾刪碼修復數據之前，我們需要對節點進行更新，保證數據是最新的狀態。對于常規的糾刪碼使用的延遲或者立即更新不太能滿足對數據準確率和修復效率的要求。所以設計出了一套基于Ceph分布式數據糾刪碼更新優化策略。該方案利用閾值設計出更新觸發時機，再利用立即延遲對數據混合更新的方式能更好的滿足數據修復的準確性和效率。

【關鍵詞】Ceph;RS糾刪碼;閾值;

0引言

糾刪碼技術因其較高的空間利用率和數據可靠性被廣泛應用于分布式存儲系統中。在實際的分布式存儲系統中，糾刪碼數據的更新是一項較為頻繁且涉及范圍較廣的操作[1]，同時更新過程需要消耗較大的網絡開銷和完成復雜的計算。隨著數據量的增大以及用戶行為的多樣化，多點更新逐漸成為了一種常態。相比于單點更新，糾刪碼的的多點更新表現出兩個特點：一是更新過程中網絡開銷成倍增長，這是因為所有的待更新節點都需要向對應的編碼節點傳輸數據[2]，每增加一個待更新節點，編碼節點的數據量就會明顯;二是更新過程中的計算復雜度與計算量成倍增加，這時因為每個編碼節點需要編碼所有的待更新數據與原始編碼數據以獲取更新的編碼數據，每增加一個待更新節點，每個編碼節點都需重新計算一遍。因此，多點更新過程中的網絡開銷和編碼計算量成倍增加，極大限制了糾刪碼的廣泛應用。這是因為，首先，隨著數據量和節點數目的增大，分布式存儲系統中的中較大的網絡開銷不僅會降低數據更新效率，同時也會影響其他應用的正常運行。其次，較為復雜的計算會占用節點較多的計算資源，進而造成更新效率的下降。因此，如何降低多點更新過程中的網絡開銷以及計算量以提高更新效率成為了新的挑戰[3]。

1.策略優化

1.1數據更新觸發

先確定輸入的編碼參數（n，k），n為總共的更新數據量，k為觸發時的數據量，我們先定義一個hold組，設置hold組為DEFAULT_SIZE，判讀更新時數據量m如果大于k，則縮小閾值大小hold+=hold，else if m<2，則擴大hold+=hlod，hold代表了時間間隔閾值，通過調整hold大小，可以映射出時間間隔，比如說五小時進行一次更新。

1.2.立即和延遲對節點進行數據更新

我們可以以時間間隔作為觸發的指標，使系統能夠精確的控制更新的觸發時機，我們可以由及時更新和延時更新的結合示例圖進行示例分析，及時更新和延時更新如圖所示。

圖1顯示了3個待更新節點node0、node1、node2和3個待更新的編碼節點parity0、parity1、parity2，再時刻t1，node0收到了更新的信息并完成了數據塊的更新。再t2時刻，node1同node0一樣完成了更新，并同時把D*1-D1發送到node0中，node0收到發送的信息通過：

合成臨時的編碼塊 。在t3時刻，node2完成數據塊的更新后也講D*2-D2的信息發送至node0，然后node0通過：

合成臨時的編碼塊 。若通過時間閾值設置到在時刻t4更新，node0將合成的臨時模塊 分別發送至node0、node1、node2。最后通過：

完成編碼塊的更新。此次數據就快速的進行了更新，也保證了數據塊的一致性，編碼塊的快速性。

2實驗結果與分析

使用對象從1000G到3500G對象大小來測試原生的系統和采用混合更新的糾刪碼策略。其更新時間如圖1所示。

由圖1可知，1500G之前原生系統和混合更新機制相差的更新時間差不多，是因為對象不夠大，混合更新中延遲更新和立即更新的時間沒有達到閾值。當對象數據夠大的時候，該機制的優勢就能大幅度體現出來。提升了8%左右。

3 結束語

本文針對海量的文件數據容錯機制的研究，以Ceph為分布式系統，糾刪碼為容錯機制為研究對象進行分布式系統的糾刪碼數據更新。對于糾刪碼修復數據之前，我們需要對節點進行更新，保證數據是最新的狀態。在多點更新的場景下需要消耗大量的網絡開銷和完成成倍的計算，所以，怎么以低成本和高效的方式完成糾刪碼修復更新成為了新對挑戰。對于糾刪碼種的數據塊、編碼塊，它們對于數據的要求是不一樣的，數據塊需要的是數據的一致性，編碼塊需要的是它的更新效率，所以我們對此需要設計出一種更新效率的算法，對兩種特性都能兼顧到，能更好的對數據進行高效率的更新。該混合更新的機制能更好的應對分布式的場景，減少系統更新時間，提高系統的性能。

【參考文獻】

[1]鐘鳳艷，王艷，李念爽.異構環境下糾刪碼的數據修復方法綜述[J].計算機應用研究，2019，36（08）：2241-2249+2255.DOI：10.19734/j.issn.1001-3695.2018.04.0269.

[2]董妍，耿臻.糾刪碼系統中基于協作方式的更新方法[J].計算機工程與設計，2019，40（01）：92-96.DOI：10.16208/j.issn1000-7024.2019.01.015.

[3]王意潔，孫偉東，周松，裴曉強，李小勇.云計算環境下的分布存儲關鍵技術[J].軟件學報，2012，23（04）：962-986.