?

2020物聯網領域不得不關注的新進展:去中心化存儲

2020-01-16 07:38
電腦知識與技術·經驗技巧 2020年9期
關鍵詞:存儲技術存儲系統分布式

隨著物聯網的發展,有一個領域正在逐步發生變化,那就是數據存儲市場。萬物互聯產生的數據正在以指數級增長,如何存儲和管理這些數據,對于每家企業而言,都是成功的關鍵要素。市場研究機構IDC的數據顯示,到2025年,全球將有416億臺互聯設備,其中75%將連接到物聯網平臺。屆時由互聯設備生成的數據,將從2019年的13.6 ZB,增長到79.4 ZB。ZB是什么概念?舉個例子,如果把1ZB的文件往1TB的硬盤里裝,大概需要10億塊硬盤,連起來足夠繞地球兩圈半。尤其是視頻數據的存儲需求將會飛速膨脹,以亞太地區為例,2025年來自物聯網設備的視頻數據規模將達到26680 EB,以5年復合年增長率23.2%的速度增長。在視頻數據之外,來自工業互聯網的數據也將占據較大份額。如此大量的數據如何被可靠、安全、快速、高性價比的存儲,是很多企業正在探索的方向。

隨著區塊鏈技術的發展,去中心化存儲逐步升溫。最近,京東云、華為云率先開始了新的嘗試。在智能園區場景中,某地的華為云服務器集群將引入去中心化存儲技術IPFS搭建,擬定投入4億元人民幣。京東智聯云也推出了無線寶智能終端,并將其定位于家庭場景中,去中心化存儲、區塊鏈和數字化資產管理的基礎設施。下面,我們就來講述去中心化存儲的最新進展:什么是去中心化存儲?值得關注的去中心化存儲實現技術有哪些?哪些去中心化存儲的誤區需要避免?

一、什么是去中心化存儲

一切可以去中心化的,都將去中心化。

以存儲作為服務的商業模式由來已久,亞馬遜在2006年開始推出Amazon Web Services(AWS),將自己的服務器和存儲空間租借給用戶,降低了開發者創建并管理服務器基礎設施的開銷。

在2013~2017年這5年間,全球云存儲市場維持20%以上的高復合增速,而國內云存儲市場的增速維持在85%~110%。根據多家機構的預測,預計2022年全球云存儲市場規模將達到1000億美元以上。

隨著時間的演變,中心化的儲存服務雖然在不斷地改善功能,價格也愈加親民,但近年來也遇到了瓶頸,面臨頻繁的數據泄露、服務的限制性、運營商停運風險等問題。于是,去中心化存儲這一概念逐漸興起。

需要注意的是,中心化或去中心化存儲,并不僅僅是描述一種技術,更多的是對應一種存儲的商業模式。

存儲市場的商業組織形式,可以分為中心化存儲和去中心化存儲:中心化存儲是將數據完整地存儲在中心化機構開發的服務器上,設備服務器與存儲供應者是—對一的關系;去中心化存儲則是將數據切片分散存儲在多個獨立的存儲供應商上,設備服務器與存儲供應者是—對多的關系。

去中心化存儲是一種通過分布式存儲技術,將文件或文件集分片,存儲在不同供應方提供的磁盤空間上的存儲商業模式。

它的價值主張是強隱私保護、低成本、數據冗余備份、開源的應用程序和算法,只有實現了以上的全部主張,才可能大范圍代替現有的中心化存儲方案。

你也許看出來了,去中心化存儲就是偏偏要在一個更加分散、更加不安全、更加不可信的網絡環境中,滿足更加安全、更加可信、更加可控的存儲需求。它有利于規避單點故障和實現數據的價值傳遞。

從實現方式上來說,中心化存儲系統的大型文件上傳后,文件以整體或切片的形式存儲在單一或分布式的網絡或服務器上,需要極其高效地開發、運營團隊來維持其運轉。

去中心化存儲必須使用分布式存儲技術,初始種子節點(最初擁有完整文件資源的節點)在將大型文件進行切片處理后,使其產生多個子塊。每個子塊分別存儲在不同的節點上,每個一般節點下載單個子塊,上傳到去中心化存儲網絡中,讓其他節點下載后,便成為這個子塊的種子節點。如此循環往復,不斷擴大該文件在共享網絡中的節點數。

為了實現去中心化的商業模式,去中心化存儲的實現必然分為兩部分:存儲技術和激勵機制。

存儲技術相對比較成熟,有多種分布式存儲方案可供選擇。激勵機制由區塊鏈技術提供,在去中心化存儲中,網絡規模的大小對于存儲性能的影響很大。如何讓大家愿意貢獻存儲、網絡資源?如何保證這些存儲資源穩定、可靠地運行?這些都需要通過區塊鏈技術實現。

去中心化存儲不同于中心化存儲的特點主要有3個:

(1)算法開源:去中心化存儲平臺或網絡的算法和代碼必須是開源的。

B2C端的存儲服務已經被中心化存儲搶占了大多數市場,在開源項目初期進入門檻較高,大多數集中于B2B端,只有代碼開源才能讓社區和應用的完善形成有效的正反饋效應。如果算法和代碼不公開透明,則存儲網絡就會變相的中心化。

(2)計費優勢:去中心化存儲的成功要素之一,就是計費優勢。

由于中心化存儲系統和去中心化存儲系統的存儲方式和檢索方式的差異,導致二者在服務費用定價上存在差異。

中心化存儲系統的收費標準是按月度、季度或年度為單位,根據存儲數據文件的大小收取存儲費用,并且對存儲費用實施一定的促銷策略(免費試用期等)。

由于大多數去中心化存儲網絡平臺處于項目運營初期,大部分產品處于開發階段或MVP階段,因此需要以低廉的存儲費用來吸引用戶流量。但是,相比較中心化的相對固定的服務費用,除了存儲費用之外,去中心化存儲還有檢索費用、手續費和交易費。因此,去中心化存儲僅僅適合冷數據存儲,在檢索數據量較少的情況下,其費用比中心化存儲低得多。而對于熱數據,因檢索頻繁導致其成本可能高于中心化存儲的費用。

(3)安全和隱私保護:增強安全性和用戶隱私保護,是去中心化存儲的重要價值主張。

去中心化存儲的優勢主要體現在兩個方面:首先,去中心化存儲規避了單點故障和部分節點斷網或不可用等風險;其次,去中心化存儲使用戶的具體存儲內容不因主觀原因而泄露。

由于去中心化存儲的共享網絡為P2P網絡,而中心化存儲的共享網絡為以服務供應商為中心的中心化網絡,從而導致前者不容易受到單點故障和服務器斷網的影響,也不容易受到黑客的攻擊。

同時,去中心化存儲通過零知識證明和非對稱加密等技術,將哈希加密的字符串放在區塊的最底層,從而將存儲內容的分片實現加密處理,其他任何節點包括運營商都無法看到存儲的具體內容。

就現狀而言,去中心化存儲處于起步階段,它與中心化存儲在存儲空間來源、帶寬來源、安全性、使用方式、行業發展狀態等多個維度存在差異,目前它的規模和性能遠遠不如中心化存儲系統。

二、值得關注的去中心化存儲實現技術有哪些

去中心化存儲的實現技術很多,質量參差不齊,典型的包括BitTorrent、IPFS、Lambda、Sia、Swarm、Storj、Chronicle、MaidSafe等十余個,它們最早可以追溯到點對點文件存儲系統。我們就從大家最熟悉的技術講起。

1.BitTorrent

最早點對點的文件存儲系統作為中心化云服務器的替代品出現,并且還沒有中心化的風險。在亞馬遜云存儲服務出現的5年前,BitTorrent(簡稱BT)已經可以讓文件在用戶之間有效傳輸。

說到BT下載,相信很多人都知道并且用過。因為很多電影都是通過BT種子進行傳播的。在2003年的時候,軟件工程師Bram Cohen發明BitTorrent協議,也就是我們常說的BT下載。

BT主要是采用高效的軟件分發系統和P2P技術共享大型的文件,然后重新分配節點給每個用戶讓他們提供上傳服務。通過這個技術,不僅讓用戶享受了更快的下載速度,也讓運營者大大節省了服務器的帶寬成本。

雖然BitTorrent是最早的去中心化存儲項目,但因其缺乏完善的激勵機制,因而只能稱之為去中心化存儲模式的雛形。

2.IPFS

IPFS全稱為InterPlanetary File System,中文為“星際文件系統”,旨在創建持久且分布式存儲和共享文件的網絡傳輸協議。

IPFS想在BitTorrent的基礎上,打造真正的點對點、去中心化的文件存儲系統。在IPFS中,所有的文件都會集中起來,其中會有通用的語言,并且所有的用戶都會在整個系統中共享,這可以讓他們尋找并且互相轉移文件。

這里特別說明一下,IPFS不僅僅是存儲,更重要的是它想顛覆HTTP。IPFS本質上是一個底層的開源文件傳輸協議,旨在對基于HTTP URL檢索協議進行補充甚至替代。

IPFS由協議實驗室(Protocol Labs)于2015年1月發布。協議實驗室的創始人和首席執行官名為JuanBenet。他2012年畢業于斯坦福大學,獲得計算機科學碩士學位,曾參與YCombinator計劃。

據IPFS官方消息稱,IPFS所應用的場景已高達100多個。不僅是京東、華為在布局IPFS,微軟、谷歌、火狐等也加入了IPFS應用,從這方面可以顯示出IPFS的發展迅速。未來,無論文字、圖片,還是視頻,各種用戶想要存儲的內容,都有可能通過IPFS來實現。

3.Lambda

Lambda是一個區塊鏈數據存儲的基礎設施,通過對Lambda Chain和Lambda DB的邏輯解耦和分別實現,以及去中心化應用,提供可無限擴展的數據存儲能力,并實現了多鏈數據協同存儲、跨鏈數據管理、數據隱私保護、數據持有性證明、分布式智能計算等服務。

Lambda本質上是IPFS項目的延伸與擴展,并且通過引入創新機制降低了其使用門檻,但是仍然不利于家庭用戶參與到去中心化存儲中來。

4.Storj

Storj是一個基于以太坊的分布式云存儲協議,由盈利性公司Stroj Labs開發。Storj的核心技術是一個可執行的、點對點存儲合約,即兩個人在不認識對方的情況下,同意使用定量的存儲來獲得收益。

Storj Labs公司的營利性方面是:它向數千名用戶出租網絡,并為網絡使用收費。這是一個稍微集中的模式,與Dropbox和Google Drive等競爭。他們還與Microsoft Azure建立了合作伙伴關系,以部署他們的一些開發工具。

5.Swarm

Swarm也基于以太坊,它提供分布式的存儲平臺和內容分發服務,參與者能夠有效地匯集存儲和帶寬資源,以便向網絡所有的參與者提供服務,同時作為回報,他們會得到一部分以太坊獎勵。

從終端角度來看,在Swarm中除了_上傳操作不是發生在特定服務器上外,Swarm與互聯網并沒有多少不同。

6.Sia

Sia是一個基于區塊鏈的去中心化云存儲平臺,由Nebulous公司負責開發與運營。Sia將數據拆分、加密,然后通過其去中心化的網絡對拆分和加密的數據進行分發。

Sia通過允許用戶“出租”他們未使用的硬盤空間,這樣能夠顯著降低用戶云存儲的開銷成本。因此,很多人把Sia稱為硬盤驅動的Airbnb。Sia是完全私密的,沒有私鑰無法查看數據文件。

7.Chronicle

Chronicle于2019年9月公布,是由IOTA基金會推出全新數據存儲解決方案,該方案允許其節點所有者輕松存儲所有交易并可保持對數據的不間斷訪問。

IOTA是為物聯網而設計的一個革命性的新型交易結算和數據轉移層。它基于新型的分布式賬本Tangle(纏結)。Chronicle允許節點所有者存儲Tangle的所有數據,并在需要時快速訪問這些數據。最近IOTA基金會發布了去中心化存儲框架Chronicle的Alpha版本,對其部分功能進行了改進,將可以在Tangle上色建更多的工業用例。

8.MaidSafe

MaidSafe的目標是用完全去中心化架構來取代互聯網昂貴的數據中心,建立一個全球范圍內任何人都可以訪問的去中心化存儲平臺。

Maidsafe的工作機制有點像螞蟻網絡,單個螞蟻是非常脆弱的,當與其他的螞蟻合作的時候,就能變成特定的蟻群,從而拿下更多、更大的獵物。

在Maidsafe中,每個用戶都是網絡參與的一分子,需要貢獻出一部分的硬盤空間,無須中間服務器和數據中心網絡??梢哉f它的目標更大,預想創造一個完全去中心化,去依賴傳統網絡的分布式存儲系統。

三、有哪些去中心化存儲的誤區需要避免

去中心化存儲的商業模式想要成立,首先要在價值主張和性價比上超越中心化的存儲方式。其次,還應注意區分去中心化存儲與分布式存儲。

誤區1:沒有區分IPFS與Filecoin

Filecoin近期的火熱程度,堪稱2020年以來之最。雖然Filecoin經常與IPFS同時出現,但它們是兩個項目。IPFS解決技術問題、標準問題,Filecoin解決關系問題、激勵問題。

IPFS自2015年1月發布至今已平穩運行多年,目前IPFS上的應用已有數百個,全球節點數百萬個。谷歌、京東等企業也都開始使用IPFS技術。

Filecoin是一個區塊鏈項目,自宣布于2018年6月上線主網至今,已經歷數次延期,并且性能一直被質疑。

華為云和京東云投資的都是IPFS相關技術,而合作中對Filecoin并沒有提及。引文章《Filecoin大空頭:易崩盤、估值高、政策風險大》中的觀點,華為云、京東云對IPFS的應用,不僅對Filecoin不是利好,反而會吞噬Filecoin的市場。

相對于Filecoin遲遲未上線的主網,京東有三大優勢:電商商城流量、京東金豆隔絕風險、技術成本優勢。

Filecoin能做的,IT和互聯網公司們已經開始做了,而這些巨頭們不能做的,才是Filecoin可以施展拳腳的地方,但其中滿是風險和陷阱,尤其是政策風險。

從估值上來看,Filecoin大幅偏高。

2019年第4季度,百度云在國內云市場占比為8.8%。最近,高盛給整個百度云板塊(小度智能音響+百度云)400億人民幣的估值。而Filecoin在既沒有數據,也沒有內容的情況下,市值已達2000億元。Filecoin的高估值,顯然不利于去中心化存儲的商業模式成立。

誤區2:沒有區分去中心化存儲與分布式存儲

去中心化存儲更多的是描述一種商業模式,分布式存儲是去中心化存儲的技術實現方式。

分布式存儲技術采用可擴展的系統結構,利用多臺存儲服務器分擔存儲負荷,利用位置服務器定位存儲信息,解決了傳統集中式存儲系統中單存儲服務器的瓶頸問題,并提高了系統的可靠性、可用性和擴展性。

無論是中心化還是非中心化存儲,二者的技術實現方式通常會以分布式存儲來體現。

因為設備服務器與存儲供應者是一對多的關系,即一個存儲供應商可以控制多個存儲節點,所以去中心化存儲一定會使用分布式存儲技術。

但是,中心化存儲可以使用分布式存儲技術,也可以不使用分布式存儲技術。

四、總結

總體而言,中心化存儲占據市場主導地位,處于成熟期;去中心化存儲仍然處于初創期,技術架構和體系尚未成熟。

存儲市場總收入規模達到了130億美元以上,中心化存儲在2019年上半年已經形成了寡頭壟斷的競爭格局,以Dell Technology、H3C、IBM、聯想、華為等巨頭為主,并且前10家中心化存儲公司的市場份額達到62.9%。

而BitTorrent、IPFS等去中心化存儲項目部分仍在開發階段,而且進度較為緩慢。即便是開發完成的Sia和Storj,其存儲空間總量僅為2PB,實際使用空間僅為全網總存儲空間的40%不到,與中心化存儲的收入相去甚遠。

猜你喜歡
存儲技術存儲系統分布式
居民分布式儲能系統對電網削峰填谷效果分析
基于Paxos的分布式一致性算法的實現與優化
關于云計算平臺中存儲技術的探討
天河超算存儲系統在美創佳績
面向4K/8K的到來 存儲該怎么辦?
中國開創第三類存儲技術
云數據安全存儲技術分析
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合