高校大數據實驗室建設體系研究與分析

廖 軍, 張 毅, 王成良, 文俊浩, 羅 西, 熊慶宇

(重慶大學 大數據與軟件學院, 重慶 400000)

大數據產業發展正在迅猛增長,產生的數據量相當龐大。據統計,全球數據量每年以超過50%的速度增長。在2017年1月17日工業和信息化部正式發布《大數據產業發展規劃(2016—2020 年)》,各行業,如電信、交通和金融等,產生并形成的豐富數據資源,為大數據信息技術創新及服務優化奠定了堅實的基礎,從而引導著大數據的穩健發展,有力支撐網絡強國建設[1-2]。大數據是從一些數據生成源記錄的，科學實驗和模擬每天可以很容易地產生PB量級的數據。據IDC分析,到2020年中國數據量將超過8ZB,對該類人才的培養也逐步成為高校信息技術教學的重要內容[3]。

如今,大數據在各行各業都有廣泛的應用[4],如教育、互聯網、水利、醫療、交通和農業等行業。對于教育行業,高校大數據計算機專業實驗室的建設是大學發展中很重要的部分。例如,許多高校開設的相關大數據課程(Hadoop, Mahout, Spark, hbase等),云計算課程和人工智能課程都離不開大數據實驗室平臺；同時利用“互聯網+”相關的慕課以及翻轉教學課程在大數據實驗室進行也能夠促進學生的學習效率和提供教師的教學便捷[5]。因此高校大數據實驗室的建設勢在必行。

為了滿足社會人才需求,擴大高校實驗實踐平臺,本文探討高校大數據實驗室建設體系,提出了大數據實驗室教學建設實踐方案,通過課程實驗、科研競賽、創新實訓等方面建設,為學生提供良好的創新環境,從而達到產學研結合培養的目的[6]。

1 高校大數據實驗室建設的需求分析

1.1 傳統實驗室的大數據應用現狀

隨著大數據產業和信息技術時代的迅猛發展,高校學生數量在不斷擴大,對學生實驗實踐能力要求相應提高,相應的支撐提高學生實踐能力的實驗室建設需求也越來越高,為達到目前學生的實踐目的,傳統實驗室已不能滿足大數據時代發展的趨勢?，F部分高校實驗室設備比較陳舊,實驗教學課程還處于僅針對解決單一的課程實驗模擬操作,缺少實驗相關支撐平臺,科研和實踐實訓開展相對較困難,因此這樣的實驗環境并不能滿足教學、科研和實驗實訓以及社會對人才的需求。以下主要從大數據技術人才培養、教學學科、科研發展和實驗實訓等幾個方面來分析大數據實驗室建設需求。

1.2 大數據技術人才的需求

據麥肯錫(McKinsey)公司分析,在2018年大數據相關技術崗位人才需求將大幅度增加,其中對大數據決策分析師有150萬左右的需求,在未來10年內,僅美國就需要相關人才200～400萬[7]。

針對社會及各大企業對大數據人才的迫切需求,高校應該注重培養適應數據時代的創新人才,積極建設大數據計算機實驗室。從高校角度出發,計算機實驗室是高校順利開展教學實踐、學生競賽及學生實驗實訓等工作的重要基礎平臺,因此大數據方面人才的培養離不開相應實驗室平臺的建設。

1.3 教學的需求

大數據實驗室建設要結合學校教學開設的學科與其相關的課程的需求主要是大數據基礎、Hadoop實戰、機器學習、云計算、Spark實戰、數據倉庫與數據挖掘、數據分析等專業課程,通過這些前沿性學科課程來引導學生系統了解并掌握大數據行業前沿技術。如果相應課程開設僅局限于理論學習,而沒有相應的實踐實驗平臺,這樣的教學設計也只是紙上談兵。要掌握課程的實質,學生不僅需要課程理論學習,還應有實驗操作來提高技術能力。因此,對于這些學科開設的應用實驗操作而言,高校實驗室除了提供基礎的實驗環境,大數據實驗所涉及的實驗案例和數據集等也是必不可少的。

1.4 科研的需求

大數據實驗室的建設不僅要滿足學校教學、學科建設的需求,對學校的科研也應該提供相應的支撐。對于高校實驗室建設的平臺,目前大部分實驗環境僅針對課程實驗需要,造成實驗室環境單一,設備技術和信息來源不足,在一定程度上影響著學生科學創新能力,從而很難發揮學生通過科研項目來達到產學研結合的目的。因此要獲得大數據相關科研方面的技術成果,高校計算機實驗室應打造以大數據技術為核心的教學科研平臺。

同時,建設大數據實驗室將帶給教師和學生領略大數據技術的魅力和廣闊前景,使學生掌握主流的大數據存儲、管理、分析處理技術,以及大數據平臺架構和建設,分享成功的大數據應用項目實施經驗,學習大數據應用項目解決方案咨詢服務。

1.5 實驗實訓的需求

很多高校為培養學生的工程實踐創新能力,專業培養體系都設有相應的實驗實訓環節,讓學生了解到整個開發實訓項目的實現過程,以實現為社會輸送專業技術人才的標準[8]。對于創建大數據實驗室而言,如果沒有大數據方面的創新實踐環境,再好的大數據專業的培養體系也只是擺設。開設大數據實驗實訓實驗室主要是能為學生提供一套系統的實踐環境,通過基礎實訓、綜合案例實訓、企業真實環境實訓等實踐經歷,使學生學習到相關數據挖掘、數據存儲、平臺搭建、數據案例分析等實驗實訓的技術內容,領略到主流技術的魅力。

實驗實訓的項目創新實踐,能讓學生在項目實踐過程中全面認識到真實企業對人才的需求,從而使學生能夠進一步明確未來職業規劃中努力的方向。

2 大數據實驗室建設架構分析

2.1 大數據實驗室建設的目標

根據大數據產業發展,高校大數據實驗室建設應以為社會輸送科技技術人才為總體目標,將實驗環境、教學科研和學生實訓競賽等分析因素作為主要建設目標,從而形成以大數據前沿技術為核心的實驗基地,以便更好地為學生提供有特色的學習環境和教學資源。

針對大數據實驗室主要滿足的社會需求,建設目標有以下幾點：

(1) 基礎設備：保證實驗室基礎硬件及虛擬環境建設[9],在現有實驗基礎設備上配備相應大數據相關的環境設備及虛擬平臺,為后續學生大數據課程、科研、實訓作準備。

(2) 教學科研數據資源配備：為提供大數據課程及科研環境,需在基礎設備的支撐上,建設數據挖掘,數據可視化等課程的教學平臺,確保教學科研數據資源完善,從而使學生充分利用實驗資源進行實際操作,達到教學課程目的。

(3) 學生實訓分析：學生創新技術的培養不僅僅是完成教學課程實驗,通過企業真實案例進行實踐訓練也是至關重要的。實訓項目環節的設置,有助于學生在數據實戰層面快速提升,從而使學生對未來職業更有信心,因此建立學生實訓平臺,為學生進一步提高大數據技術的認識奠定堅實的基礎。

2.2 大數據實驗室建設架構

通過分析探索大數據實驗室建設需求及目標,本文主要以基礎硬件層、虛擬資源層、教學科研平臺和學生實訓創新平臺四個層次模式來建設大數據實驗室,創新實驗室建設架構見圖1。架構的建設依據大數據人才培養的理念,采用智能科學與大數據先進技術,結合虛擬資源等創新形式,實現智能數據交互式的實踐教學模式。同時大數據實驗室建設平臺可支持教學數據資源與虛擬云桌面有機結合,逐步為學校打造一個多層次、多元化的科學大數據的實驗環境。

圖1 大數據創新實驗室建設架構圖

2.3 架構體系分析

針對大數據實驗室建設體系架構,具體分析如下：

(1) 基礎硬件層?；A硬件層是為了給教師和學生提供實驗所需的硬件基礎設施環境,為保證實驗環境的整體搭建,基礎硬件環境層主要是從支撐實驗室基礎教學設備、網絡環境和存儲資源等方面來配備相應設施,其中主要包含有學生用普通終端PC,相應的網絡配備交換機,服務器和數據庫,網絡綜合布局等基礎設施。

(2) 虛擬資源層。虛擬資源層是為教學科研及實訓平臺提供虛擬化資源服務,利用虛擬化工具和資源為教師和學生提供所需要的實驗服務請求。該層主要是由VMWare虛擬軟件體系、虛擬桌面云、服務器池等組成,其中VMWare軟件體系主要承擔實驗室的虛擬化任務,負責將物理資源虛擬化成虛擬資源；虛擬桌面云中的虛擬機一般作為學生實驗用的虛擬機,安裝的軟件一般為客戶端軟件,通過虛擬桌面云來管理實驗工作,大大減少實驗人員的工作任務。服務器池中的虛擬機為科研實訓等對計算運行要求較高的軟件環境提供服務器。針對學生部分實驗運行情況,可以設置特定的時間開啟和關閉指定的虛擬機,以便最大限度地讓實驗管理員從繁瑣的日常實驗管理工作中解放出來,提高工作效率。

(3) 教學科研平臺。教學科研平臺旨在讓學生掌握大數據相關課程理論知識同時,培養他們的實驗操作能力。該實驗平臺主要由開設大數據相關的實驗課程教學管理、課程實驗和科研競賽等項目組成,其中實驗課程教學管理主要是進行實驗室教學計劃規定的各課程科目的教學及管理,教學課程包含數理統計、大數據基礎,Java技術、python開發實踐,分布式并行算法、數據倉庫與數據挖掘、機器學習、人工智能、數據分析技術等相關大數據課程教學；課程實驗主要包括Java/python技術實驗、hadoop基礎集群搭建、Hive的簡單使用、分布式數據庫hbase部署、MapReduce基礎實驗、簡單的數據分析、數據清洗等實驗,通過這些實驗使學生養成良好的實驗操作思維；科研競賽主要是分為針對醫療、交通、金融、旅游等相關的大數據科研項目和計算機類競賽項目兩個部分,目的是在幫助學生掌握大數據基本實驗技能的同時,通過科研競賽的形式更好地激發學生對大數據實驗項目的思維,為之后學生實訓階段打下堅實的基礎。

(4) 學生實訓創新平臺。學生實訓創新平臺目標是讓每位學生都完整地參與開發并完成一個真實項目、了解一套軟件開發流程、熟悉一種編程框架,最終提升職業能力與綜合素質。實訓實驗室將充分滿足專業實習實訓要求,形式多樣化,主要包含課程綜合實訓,大數據創新實訓和企業大數據真實案例實訓[10]。其中課程綜合能力的實訓將在平時課程實驗的基礎上,結合所學知識進行綜合實訓,提高學生綜合創新能力。大數據創新實訓階段主要是針對大數據專業實踐課程的進階,如分布式數據倉庫學習,數據挖掘算法優化實踐,數據可視化開發和Spark開發應用等創新實戰,其中數據可視化開發可以深入分析文本可視化、社交網絡可視化和金融交易日志數據可視化等訓練。企業真實案例實訓將在企業真實數據下體驗網商等企業用戶購物行為數據,學生可以對這些企業產業運作進行推薦算法設計分析,提前體驗企業的工作模式。

3 大數據實驗室建設的優勢

大數據實驗室建設為適應時代的發展,具有如下優勢[11]：

(1) 結合大數據技術,優化實驗教學體系。大數據實驗室建設結合課程教學、課程實驗、科研競賽、創新實訓和企業案例實踐,不僅能夠提高學生的動手創新實踐能力,還可以使學生真正體驗到所學的知識與企業結合的實驗經歷。

(2) 與社會對人才需求緊密接軌,培養高質量的人才。大數據實驗平臺建設充分滿足了社會創新人才的需求,通過科研、教學實踐與企業緊密結合,將為大數據實驗未來建設發展提供強有力的支撐,實現大數據專業人才培養與改善人才培養環境的雙向互補,輸送高質量的大數據應用核心人才。

(3) 吸引更多先進的技術和高水平的師資力量。實驗平臺建設能有效實現引進國內外先進的大數據技術和高水平的師資隊伍,提高師資的科研水平與教學質量。

4 結語

通過對大數據發展前景的分析,以社會人才趨向為目標,將教學、科研以及學生實訓等需求考慮到大數據實驗室的建設中,一方面加強了學生的創新實踐能力和科學研究能力,另一方面,以企業創新實踐為導向,提升了教學質量、師資能力,以及學生就業競爭能力,從而真正達到了產學研一體的目標。