大數據測試技術的特點及前景研究

黃瑞國

摘要：隨著我國社會經濟與技術的發展與進步，我國以全面進入網絡信息化時代，計算機技術也在不斷地創新與改革，為人們的日常生活便利帶來了很大的作用。在這個信息化的新時代中，人們每天所接觸的信息量數以萬計。能夠取得有效的信息，不僅可以節約時間，還能滿足各種不同的需求。大數據技術及大數據測試技術正是現在社會發展的需求，在此基礎上，該文就著重分析了大數據測試技術的特點及難點，并且研究了其發展前景。

關鍵詞：大數據；測試技術；發展前景

中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2016）27-0001-02

在互聯網、云計算等一些網絡技術的推動下，其數據也越發膨脹，規模也呈現幾倍上升趨勢，目前我們已正式跨入大數據時代，開發其中所蘊含的信息及“寶藏”是我國乃至國外研究人員的目標。如今社會的發展需要大數據技術，因為其數據量大、結構復雜、種類繁多，人們可以從其中獲取更多具有價值性的信息。

1 淺析大數據

1.1 大數據的概念

由于云時代的到來，大數據技術也吸引了國內外研究人員的注意力。顧名思義，大數據就是由大量結構化的數據構成的大型數據倉庫，是一種觀察世界的全新手段和方法，利用其思維與處理技術構成一個數據庫，從而創建一個透明化的世界關系結構。從互聯網發展至今，大數據是這個過程的一個象征性技術，在云技術不斷地創新及改革上，這些難以收集也不好運用的數據被研究人員科學合理地進行利用，隨著我國各行各業的不斷發展，大數據也會在此過程中為其提供一系列有利的價值。[1]

1.2 大數據的特征

大數據運用現在的軟件技術是很難收集及存儲、分析共享的，國內外研究人員用了四個V概括了大數據的基本特征。

1.2.1 （Volume）數據體量大。

在此技術的發展過程中，已經由原先的TB級別躍升為目前的PB級別，其數據量最高可達200PB。目前我國普通的計算機容量是TB量級，一些大型企業是EB量級。

1.2.2 （Variety）數據類型多

大數據技術具有多樣式的特征，所以主要有結構化數據和非結構數據兩種形式。非結構數據與結構化數據相對比，后者是以文本為主，前者的種類則眾多，主要有網絡中的日志、視頻、音頻、圖片等，這對數據的處理能力也有較高要求。

1.2.3 （Velocity）處理速度快

處理速度快是大數據技術與傳統數據技術最明顯的特征，具國內外研究學者分析，在2020年，全球數據的使用量可能會達到35.2ZB之多。在這么多數據的面前，大數據就充分地發揮了其自身特性，為企業的可持續發展起到重要作用。

1.2.4 （Value）價值密度低

在大數據中，其價值密度是與數據量成反比的。對于使用現金的計算機算法準確地對數據中的價值進行有效提純，是目前國內外研究大數據技術的一個難點也要點。

在如今這個發展迅速的時代，大數據技術已經成為了網絡技術可持續發展的趨勢和要點，在我國各行各業包括研究界都有廣泛應用。大數據技術具有高性能、高效率及方便管理等優點，其本身的結構和系統設計的也較為復雜，所以對大數據測試技術的研究還是比較薄弱的。[2]

2 淺析大數據技術的特點

2.1 大數據基礎上發明的軟件被廣泛應用

近幾年隨著大數據技術在我國各行各業都被廣泛應用，使其走向信息化和科技化。其中在大數據技術基礎上發明的Hadoop分布式處理軟件、Hbase數據庫及一些可視化軟件都對我國行業的發展有著重要的意義。

2.2 大數據的智能處理技術

大數據技術是從海量的數據中獲取有效的數據并且進行智能處理分析，人們可以從中發現對自己有用的信息、知識及創造無窮的智慧，對今后我國社會的發展有重要的作用。在此前提下，就必須在大數據中引進智能處理技術，將大數據的分析、管理等技術與人工智能相融合，目前我國機器的數據自動分析、語言理解及自動識別等一些智能技術已經和大數據技術工作的流程完美融合。[3]

2.3 非結構化數據處理正在迅速發展

上文說到非結構化數據處理與傳統的處理技術不同，其是以圖片、視頻及音頻等數據展現的，隨著云技術時代的到來，此類信息也越來越多。所以我國目前對非結構化數據處理技術越來越有需求，非結構化數據技術中的采集技術等也正在不斷地創新及發展。

2.4 分布式處理架構

上文說到大數據技術有多種處理技術，其處理方法也是隨著社會的進步而不斷創新的，傳統的處理方式已經無法滿足現如今社會人們的需求。在人們對此不斷創新及摸索的過程中，在大數據技術中發現了分布式處理架構，此時它也成了其的主要處理數據方式，這是時代在發展與進步的表現。在分布式處理架構中，分布式文件系統、處理數據庫及編程環境等一系列的技術在今天都被人們廣泛應用與各行各業中。[4]

3 大數據測試技術

3.1 大數據測試流程

大數據測試的主要流程如圖1。

大數據的分析處理流程主要可分為5個階段：

1）采集。大數據在分析處理中的采集是運用其中的數據庫來進行接收來自客戶端的數據，比如Web客戶端、App客戶端等等，并且客戶端用戶可以通過大數據中的這些數據庫對信息進行收集、查詢、處理等工作。[5]比如傳統的MySQL數據庫及Oracle數據庫是用來保存一些日常數據的，除了這些數據庫，Redis等一些NoSQL數據庫也可采集數據。大數據分析處理中采集的特點就是在并發數高。

2）導入、預處理。大數據處理過程中采集時擁有很多數據庫，對于這么龐大的數據進行科學分析遠遠是不夠的，還是要將這些數據導入到一個大型的集中數據庫，在此之前將其進行簡單的預處理。其中Sqoop和Flunm等一些工具就可以將這些數據進行互相操作。其中導入和預處理的特點就是導入量大，每秒可導入百兆或者千兆。

3）統計分析數據。將大量的數據導入到一個大型的集中數據庫中，通過使用分布式技術來對其中的數據進行分析、匯總等。統計分析數據的特點就是導入量大，其查詢數據量也大，請求較多。Hadoop此產品是使用最多的。

4）數據挖掘。與前面三個階段不同的是，數據挖掘并沒有預先設定其主題，而是在現有的數據中進行各種計算，以達到預算的效果，從而達到復雜數據分析的要求。比較有名的算法主要有K-means（聚類）、SVM（統計學習）及naive Bayes（分類），工具主要有Mahout。[6]數據挖掘的過程中的特點是看數據中文件的格式是否都達到要求。

5）數據分析。當大數據測試分析過程結束之后，產生的數據會被自動的移至其倉庫中或者系統中。然后對其中的數據進行分析，這就是大數據處理技術所要解決的問題。數據分析過程的特點是要在具體的數據下才能使業務更加流暢，并且能夠有效的分析其數據，從而得出科學有效的策略。

4 大數據測試技術未來發展前景的分析

對于我國社會技術的發展現狀來看，大數據技術在未來的發展前景也是非?？捎^的，大數據技術在我國各行各業中都得到了廣泛的應用。目前我國大數據技術公司有三種：技術類、創新類、數據類，但是不斷是那種數據公司，對于我國社會發展都是不可缺少的。其中技術類大數據公司被我們所熟知的主要是一些IT公司，他們注重的是數據的處理；創新類大數據公司注重的是富有想象力的員工，能夠面對相同數據擁有自己獨特的簡介，并且能夠有所創新；數據類大數據公司是與我們人類日常生活相關的，比如一些客戶端（新浪、百度、淘寶等），或者一些大型的連鎖企業、金融企業等，這些企業都有大量的數據，不過其中有價值的信息也比較容易被忽略。[7]不管是哪類數據公司，大數據技術會在今后社會發展中越來越好。

1）在云計算基礎上的數據分析測試平臺將會更加完善

在社會飛速發展的這幾年，其中云計算技術發展也甚是迅速，在此基礎上其的應用范圍也越來越大，這也包括大數據技術在云計算技術中的應用。云技術的發展也為大數據技術的發展提供了一個較好地處理平臺和技術，還為其提供了全新的計算方式、更大的存儲空間及資源等等。另外，創新后的云計算技術也具備相對豐富的IT資源，這也為大數據技術的發展提供了良好的資源，在兩者都不斷創新的基礎上，大數據技術平臺也會日益成熟，其處理水平也會得到明顯的提升。

2）大數據技術中的數據分析將會進一步發展

在大數據技術分析處理中，數據分析有著重要的地位，隨著社會的發展，其也將會逐漸成為大數據技術中的核心技術。大數據技術主要是對大量數據進行智能處理，從其中獲取有效的信息，要想在今后的發展中實現此功能，就要對數據進行分析處理。此過程則是數據分析的基礎，所以數據分析在今后的創新發展中會得到進一步的發展，其大數據測試技術也會得到創新及發展。[8]

5 結束語

總而言之，隨著我國社會經濟及技術的不斷發展與創新，信息化時代也將到來，大數據技術也稱為了我國人民在日常生活中不可缺少的一部分，在我國各行各業的發展中都有著重要的作用。在互聯網技術和云計算技術發展的促進中，大數據技術在未來的發展也將更加智能、先進，也將會涉及我國更多的行業領域，為我國人民生活中創造出更大的便利，為我國科技的創新及發展提供新的技術。

參考文獻：

[1] 李鵬飛， 盧瑾， 辛一. 基于專利的大數據技術發展情報分析及戰略研究[J]. 情報雜志， 2014（9）： 45-50.

[2] 王驍. 基于Hadoop大數據平臺資源及用戶行為檢測技術的研究[D]. 北京： 北京交通大學， 2015.

[3] 李紀舟， 葉小新， 丁云峰， 等. 大數據關鍵技術、主要特點及發展趨勢[J]. 電信技術研究， 2013（3）： 58-64.

[4] 代亮， 陳婷， 許宏科， 等. 大數據測試技術研究[J]. 計算機應用研究， 2014， 31（6）： 1606-1611.

[5] 吳韶鴻. 大數據開源技術發展研究[J]. 現代電信科技， 2014（8）： 17-22.

[6] 郭麗娟. 大數據的特點及未來發展趨勢[J]. 信息通信， 2014（10）： 195-195.

[7] 趙濤. 基于云計算的軟件測試技術探索與研究[D]. 西安： 西安電子科技大學， 2014.

[8] 梁志國. 大數據時代計量校準理論與技術的發展展望[J]. 計測技術， 2015， 35（6）： 6-9.