基于云計算的數據存儲和挖掘研究

鄭小樂

摘要：云計算環境下的數據存儲和挖掘有別于傳統的數據存儲和挖掘技術，更注重分布式數據環境的設計和網絡對數據的協調傳輸能力。數據挖掘在云環境下的數據模型的好壞直接決定了數據挖掘的效果質量。

Abstract： Data storage and mining in a cloud computing environment is different from traditional data storage and mining technologies， and more attention is paid to the design of distributed data environments and the ability of networks to coordinate data transmission. The quality of data mining in a cloud environment directly determines the quality of data mining.

關鍵詞：云計算;數據存儲;數據挖掘

Key words： cloud computing;data storage;data mining

中圖分類號：TP311.1? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1006-4311（2020）12-0202-02

0? 引言

隨著互聯網技術的不斷發展，海量數據出現爆炸式的增長，海量數據的存儲和使用成了互聯網發展的關鍵技術。大量的、動態增長的、非關系型的數據使得傳統的數據存儲和處理技術不再適應，如何從海量的數據提取和挖掘有用的數據信息知識，傳統的數據挖掘技術也無法滿足要求，因此當前需要一種能夠存儲海量數據的云存儲技術和大數據挖掘來應對當前數據存儲和增長的挑戰。然而當前通用的數據存儲和挖掘模型尚少，雖然有些企業有自己的解決方案，但是系統存在著不可移植性，如何在云計算環境下實現可靠的數據存儲、清洗、抽取、聚合等相關數據挖掘步驟，成了亟需解決的關鍵技術問題[1]。

1? 傳統存儲和云計算存儲

傳統的數據由于其量小，固定，并且是非動態的增長，所以存儲起來比較簡單，一般是存儲在單一的存儲介質和物理位置上[2]。數據的應用和存取也大多是現場使用或是通過網絡訪問單一處的存儲介質，在處理技術上不復雜，只要擴大存儲介質的容量和網絡流量，就可以很容易的實現數據的調用和處理。對少量的數據也可以通過軟盤、光盤、U盤等各種移動存儲介質實現數據的靈活移動，而對大多數據來講，主要是存儲在物理硬盤上，所以傳統的數據存儲技術的發展和物理存儲介質的發展是分不開的，只要擴大物理存儲介質的容量就可以提高傳統數據的存儲能力，和網絡的處理能力沒有多大關系。

而當數據發展到大數據時代，單一的物理介質很難滿足數據的存儲，所以云計算存儲和傳統的存儲有著比較大的區別，除了存儲方式上有很大的區別外，在運算方式上也有著根本的轉變。云計算下的存儲是通過復雜的網絡系統，通過分布式處理系統將數據存儲在不同位置，不同存儲介質上，所以云計算下的存儲技術的關鍵點不再是物理存儲介質容量的擴大，而是如何通過網絡將分布在不同位置的數據進行有效的傳統和組合，這是傳統存儲技術無法實現的問題。同時，云計算存儲設備也不再僅僅是計算機系統中的各類硬件設備、儲存設備等，而是各種能夠存儲信息的設備所構成的一個復雜的云系統，個人手機、網絡設備等都有可能成為云計算存儲因子。由此可以看出云計算存儲的關鍵不是存儲介質（存儲介質基本沒變），而是如何將分布在云中的數據組織和調用起來。

2? 云計算儲存技術中的核心要素

云計算的存儲是指如何將數據存儲在云端并且為用戶提供良好的服務，用戶在存取數據的時候并不知道數據存儲位置，也不知道數據是如何進行調用的，而存儲數據的管理人員或是軟件設計者將數據存儲的位置、調用方法、提供服務的先后順序都設計在分布式管理系統中，對用戶來說是透明的，用戶只要通過授權驗證就可以使用這些云端的數據。

2.1 云計算存儲中的介質層

云計算的存儲按照不同的功能分為四個層次，介質層、訪問層、接口層和管理層。由于云計算的數據最終存儲地址仍然是存儲介質，所以存儲介質仍然是云計算存儲中最為基礎的部分?，F在的存儲設備也多了很多，比如FC、NAS或是采用DAS技術的存儲設備，這些設備可以分布在不同的物理位置，當數據被調用的時候，通過云計算的數據調用算法，從不同物理位置或設備中提取數據，不同存儲設備之間通過互聯網進行信息溝通，形成完整的儲存設備管理系統。

2.2 云計算存儲中的訪問層

存儲在介質層中的數據可以供用戶進行訪問，但是不是任意用戶都可以訪問任何數據的，只有通過授權的用戶才能夠通過訪問層訪問云計算存儲系統，所以云計算存儲中的訪問層對數據的安全起著一定的作用，本層給用戶通過標準的接口進行存儲和訪問。在實際使用的過程中，不同單位可以通過設計自己的訪問層接口，因而會造成不同使用單位之間的接口不統一，從而各單位之間存儲的云數據交流會出現障礙，給云計算存儲的數據管理上帶來一定的困難。

2.3 云計算存儲中的應用接口層

應用接口層是一個綜合功能的設備來實現的，相對比較靈活，在本層中需要通過網絡的接入、用戶的認證和系統對用戶授權的管理，在當今市場中，有各種可以提供此功能的設備，用戶可以根據需要選擇合適的應用接口。為了提高云計算存儲的效率，可以根據不同的應用接口開發出各不相同的云存儲應用。

2.4 云計算存儲中的基礎管理層

本層是云計算的存儲和調用的最核心的層次，數據管理者可以在本層次制定數據訪問和調用的最好的解決方式，為了能夠讓云端數據提供更好的服務，需要對各存儲設備中的數據和提供服務的順序提供最為合理的服務。如何協調各設備中的數據和傳輸關系著數據存儲設備和網絡能否提供優質的服務，也決定了數據的穩定和流暢性，在基礎管理層的設置好壞，決定了云計算數據是否能夠提供良好的服務。在本層上管理人員也可以進行數據安全的設置，比如對各存儲的數據進行云端加密，這個加密是對存儲過程和存取過程的加密，不是對數據進行加密，可以保證數據結構的完整性。

3? 云計算數據中的數據挖掘技術

數據挖掘技術是指將存儲設備的數據進行有效提取和分析，從而能夠將數據中隱藏的數據規律表達出來。傳統的數據挖掘技術主要是通過聚類分析、回歸分析等技術進行處理，但是在云計算存儲的數據中，這些傳統方法難以應對復雜而龐大的數據信息，動態增長和非結構化的數據也讓傳統的方法無能為力。因此在云計算環境下，需要通過新的數據挖掘機制來實現對分布式的數據處理，同時需要結合用戶、企業的要求來設計新的數據挖掘系統。

3.1 云計算環境下數據挖掘模型的建立

云環境下因為數據是海量的，所以數據挖掘的核心問題是提高數據并行的能力，而在分布式數據環境下提高數據處理的并發能力和數據存儲能力，最關鍵的因素是建立數據挖掘的模型。數據挖掘的模型主要實現三個功能，數據存儲和處理、數據挖掘、數據信息反饋，分別有三個層次來實現：服務層，運算層，用戶層。服務層的主要功能是實現數據的存儲和并行處理，這一層是基礎層，是保證數據挖掘能夠正常進行的關鍵層次，保證數據的安全、可靠、實用性等，同時為了避免數據丟失，本層還負責數據的冗余存儲功能。

運算層的主要功能是數據挖掘算法的實現，主要進行數據預處理和數據挖掘算法的實施，通過對大量數據進行預處理和網絡并行的運算，完成對數據的分類、數據轉換、數據清洗、數據抽取等數據挖掘步驟，通過數據預處理工作，完成數據挖掘的必要步驟，提高數據挖掘質量和效率。

用戶層的主要功能是發布數據挖掘指令，控制數據實施，并將最終的結果反還給用戶，是數據挖掘可視化層面的信息傳遞層。

3.2 云計算環境下數據挖掘算法

在云環境下的數據挖掘模型建立好的前提下，數據挖掘算法的好壞直接決定了數據挖掘結果的有效性。目前常用的算法有sprint、sliq、cart等，每一種算法都有其優越性，同時可以對這些算法進行并行設計。目前，數據量依然在不斷增加的過程中，數據挖掘工作也要不斷地發展，在這樣的狀態下，想要對數據進行有效處理，就要結合不同行業特色，設計出更具個性化的數據挖掘算法機制，讓數據性和安全性得到進一步提高[3]。

4? 結語

在互聯網越來越發達的今天，各行各業的數據量在不斷的增加，傳統的數據存儲和挖掘方式已經不適應于今天的云計算環境，為了更好的利用數據我們應該提高云計算數據的存儲能力和數據挖掘能力，提高數據的服務性，真正做到數據為我所用。

參考文獻：

[1]HILBERT? M. Big? Data? for? Development：? A? Review? of Promises? and? Challenges[J] Development? Policy? Review， 2016，34（1）：135-174.

[2]吳紅姣.計算機網絡安全存儲中云計算技術的運用[J].電子技術與軟件工程，2019（15）.

[3]崔辰.云計算技術下海量數據挖掘的實現機制[J].微型電腦應用，2019（4）：129-131.