大數據時代統計學教育的改革

摘要：我們已經進入大數據時代，統計學作為處理和分析數據的科學，必然受到大數據的影響。目前我國統計學專業課程設置和教學內容改革還處于探索階段，統計學教育現狀存在亟待解決的問題，統計學教育的改革勢在必行。本文在分析大數據時代特征的前提下，分析了我國統計學教育的現狀與挑戰性問題，討論了統計學教育改革的內容、方法、借鑒和適應時代要求的變革問題。

關鍵詞：統計學；教育改革；大數據

一、引言

最早提出大數據時代到來的機構是全球知名的麥肯錫咨詢公司，該公司在一份研究報告中指出：“數據已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素，人們對于海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來”。

大數據是隨著互聯網技術的廣泛應用帶來的數據量和數據類型激增而衍生出來的一種現象，但大數據一詞不僅指規模大、種類多的數據集，還包括對這種數據集進行采集、處理與分析以提取有價值信息和直接創造價值的技術構架和技術過程。大數據的第一個特征是數據量巨大。截止到2012年，數據量已經從TB（1024GB=1TB）級別躍升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB（1024EB=1ZB）級別。第二個特征是數據類型繁多、異構性突出，包括網絡日志、音頻、視頻、圖片、地理位置信息等等。第三個特征是數據價值密度較低，數據中存在大量重復性和無價值性信息或噪聲。如何通過強大的計算技術和統計分析等方法迅速完成數據的價值提純，是大數據時代亟待解決的難題。第四個特征是處理速度快、時效性要求高。這是大數據區分于傳統數據挖掘最顯著的特征。

目前，不同的學科領域對大數據概念有著不盡相同的解釋，但各種解釋中大致可以從兩個方面去理解。首先，大數據概念體現在數據量的巨大、種類的眾多及產生速度的飛快，同時產生的數據集極有可能包含著各種半結構化和非結構化數據；其次，大數據概念還體現在對數據進行處理的手段和流程方面，由于數據量的龐大和類型復雜，利用常規的統計軟件已經無法對當今的數據進行及時有效的存儲、分析及處理。因此，所謂的大數據并不是單純指數據流量的巨大，還指其結構的復雜和種類的多樣，在數據處理和分析上需要采用高端計算平臺或高級統計軟件，以及海量數據中存在著可挖掘的潛在的大量價值信息與知識。

近年來，隨著高速計算機的應用、信息技術的快速發展，特別是云計算技術的發展，使大數據的存儲和分析技術得到迅速發展，目前的核心技術有MapReduce、GFS、BigTable、Hadoop，以及數據可視化等。在數據搜集上，可方便地通過在線互聯網數據庫獲取二手數據或一手實時數據。在數據分析上，傳統統計學方法采取的是基于統計模型的樣本數據分析，而大數據分析技術則是通過高端計算平臺，對大數據中的信息進行挖掘。

統計學作為對數據進行處理和分析的科學，必然受到大數據的影響。在大數據時代，統計學教育必須與時俱進，跟上時代發展步伐。近年來，有不少文獻討論了大數據環境下我國統計學教育的改革問題（例如[1]-[5]），本文在分析大數據時代特征的前提下，進一步討論我國統計學教育的現狀與挑戰、統計學教育改革的內容、方法、借鑒和適應時代要求的變革問題。

二、統計學教育的現狀與挑戰

2013年，教育部對我國統計學專業設置進行一次新的調整，將原來的既可授予理學學位，也可授予經濟學學位的統計學專業劃分為統計學、應用統計學和經濟統計學三個本科專業[6]。根據教育部高等學校統計類專業教學指導委員會2013年11月公布的數據，當時全國有194所高校開設了統計學專業，156所高校開設了應用統計學專業，164所高校開設了經濟統計學專業[6]。目前，全國開設這三個統計學專業的高校個數和在校學生人數與2013年相比都有不少的增加。

面對大數據時代，我們目前的統計學教育無論在培養目標和教學內容上，還是在教育方式和人才培養模式上，都存在著亟待解決的挑戰性問題。例如，在專業培養目標和人才培養過程中，我們比較重視課程層面上的評價，比較輕視專業層面上的整體評價，缺乏對學生綜合能力的反饋機制。

關于教學內容，目前三個統計學專業在統計理論和應用統計兩個方面有不同的側重。統計理論主要包括：抽樣理論、實驗設計、估汁理論、假設險驗、決策理論、貝葉斯統計、半參數和非參數統計、序貫分析、多元統計分析、時間序列分析、小樣本理論和大樣本理論等。在數據分析中，現今的統計方法基本以結構化數據為主要處理對象，而對非結構化和半結構化數據的分析和工具涉及較少。因此，現今統計學課程及內容已不能滿足從事非結構型和半結構型的大數據研究和商業應用對人才培養的需要，必須進行必要的改革。

對于教育方式，鑒于大數據時代要求，統計分析人員需要具備較高的數學和現代統計學基礎，具有較高的軟件操作能力，掌握一定的大數據收集、整理、分析、處理和挖掘數據的技能。日本學者城田真琴認為：“數據科學家要有計算機科學專業背景，數學、統計方面的素養和使用數據挖掘軟件的技能，善于利用數據可視化的手法展現晦澀難懂的信息，而且具備相應的專業知識、眼界和視野，具有適應社會發展和創造價值的能力”?，F今的統計學教育方式還不能很好適應大數據時代數據科學人才培養需要，必須進行必要及時的調整和變革。

對人才培養模式，大數據時代不僅要求培養具有數據處理和分析所需的基本素質與技能，更重視培養從海量數據中發現和挖掘價值信息、把握市場機遇、創造利潤的潛在能力。面對大數據時代的諸多挑戰，現代統計技術、數據挖掘方法、計算機信息技術、軟件工具和理念的日新月異，培養統計人才的教育模式也需要相應變化，統計學教育只有與時俱進，主動做出全面的調整和變革才能適應新時代知識進步和激烈人才市場競爭的需要，積極迎接大數據時代的挑戰。

大數據時代對統計學教師有更高的要求，統計學教師需要與時俱進，跟上時代步伐。隨著互聯網、物聯網、云計算等信息技術的發展，對數據的分析和處理的技術也隨之要求更高，統計學教師固有的知識體系已不能滿足培養現代統計人才的需要，必須進一步深化和更新原有的統計學理論知識，而且還需要學習掌握計算機技術、互聯網、數據庫和信息科學等有關知識和技術，同時還要熟悉處理非結構型和半結構型數據的知識和技能，以適應現代統計學教育對教師的知識結構和基本素質的要求。

大數據時代對統計專業的學生也提出了更高的要求，他們不僅需要掌握現代統計理論、統計方法和專業統計軟件，還要學會如何分析、處理來自互聯網或各種實際問題中的海量數據，如何利用統計軟件和互聯網技術進行數據操作，如何借助軟件技術和統計準則判斷數據質量，如何進行模型選擇和評價模型方法的有效性，如何準確清晰地呈現統計分析結果和結論，等等。

2014年11月，美國統計學會發布了統計學本科專業指導性教學綱要 [7]，該教學綱要對統計學專業提出四個方面的要求：（1）具有扎實的數學和統計學基礎、強大的統計計算和編程能力，熟練使用統計軟件和數據庫；（2）分析來自現實問題的真實數據，真實數據是統計專業教育的重要組成部分；（3）掌握多樣化的統計模型方法；（4）具有通過語言、圖表和動畫等方式解釋數據分析結果的能力。美國是統計學教育和人才培養最先進的國家之一，該指導性教學綱要代表著美國統計學專業培養人才的基本要求和發展方向，對我國統計教育的改革具有重要的參考價值。以該指導性教學綱要為參考依據，對照我國目前的統計學本科專業教育，無論是在培養目標和課程設置方面，還是在教學內容和教學方法方面，都存在著亟待解決的挑戰性問題。

三、統計學教育的改革

大數據時代的統計學教育不僅是各種統計方法、數據挖掘方法和信息技術手段的延續或發展，更主要的是這些方法的集成應用和在實際數據分析中的真實體驗。過去，企業數據庫價格昂貴，在統計學教育的教學案例或實驗課教學中，很少采用真實和海量的數據庫資源，基本都是采用過時或虛擬的數據。今天，像百度大數據引擎這樣的數據庫的逐步對外開放，將有助于開展“線上大數據統計實驗”教學。為了適應大數據時代要求，有必要利用網絡資源以及各種數據處理軟件，搭建線上大數據分析實驗教學平臺，全面開展大數據統計實驗教學的改革。實際上，借助大數據分析平臺，本科階段的統計學教育就可以融人聯機分析和數據的可視化教學。其次，要時刻關注大數據分析理論的進展，及時將新理論新方法融入課堂教學內容。

需要指出的是，在大數據時代，經典統計理論和方法并沒有過時，但需要進行改進和進一步發展。這是因為，網上采集的巨型數據集往往存在大量的重復性和無價值數據信息，使得大數據價值密度降低。在對這些數據進行分析處理之前往往需要通過去噪、分層、截斷、聚類等方法的預處理，將其變成便于進行分析處理的小數據，繼而借助于經典統計方法進行分析和處理。因而在大數據時代仍然需要采用傳統統計學的小樣本理論和方法。所以，即便是在大數據時代，經典統計方法仍然是進行統計分析的基石，其核心地位不可動搖。所以，在大數據時代仍然要強化統計學的基本理論和方法，尤其是在長期發展和實踐應用中經過驗證的、成熟有效的經典和現代統計方法，在大數據時代仍然沒有過時，但需要結合大數據分析的需要對經典統計方法進行必要的發展和改進。

大數據科學需要統計學與數學、計算機等學科的結合。亞馬遜大數據科學家John Rauser 認為：“數據科學家是統計學家和計算機工程師的結合體”。為了滿足大數據時代的要求，統計學專業的課程設置需要進行必要的調整。應根據新時代人才培養的要求，增設與大數據前沿領域發展相關的課程，如計算機網絡和大數據相關的軟件應用，同時要加大實驗課和社會實踐課的比重，引導學生理解和掌握大數據概念、理論、技術和方法，培養其運用大數據的相關分析工具解決實際問題的能力。對于理論課程，除基本統計理論外，還應開設一些較為現代和深入的課程，如現代貝葉斯方法、神經網絡、數據挖掘、應用隨機過程論等。另外，還應開設與大數據分析相關的關聯規則、決策樹、機器學習、支持向量機等課程。

為了培養與時代適應的統計學人才，統計學專業教師應不斷更新自身的知識結構和價值觀念，改變認識數據、收集數據和分析數據的思維，主動學習和補充互聯網、現代數據分析技術、數據庫和數據挖掘技術，使自己的知識體系不斷更新和提升，跟上時代發展的步伐。

在大數據時代，要注意培養學生適應社會的能力。統計專業人才培養模式應以提高本專業學生數據分析方面的能力，開闊他們的視野，培養其適應社會的能力。應積極引導學生進入實訓場所動手操作和鍛煉，嘗試以企事業單位的財政、金融、保險、統計、咨詢和信息公司等部門為主構建專業性教育實踐基地。鼓勵學生到大數據相關的機構部門、產業園區和企業中去調查研究和實踐。此外，統計專業應積極同其他專業進行合作，聯合培養適應新時代要求的數據分析人才。鑒于大數據對數據分析人員在計算機技術、行業認知、業務知識、數據分析工具和方法的要求提高，統計學科應主動與計算機、經濟學、管理學等相關學科合作，培養學生的計算機能力、專業素質和業務修養。

“它山之石可以攻玉”，關于統計學專業的課程設置，可以參考和借鑒美國統計學會公布的統計學本科專業指導性教學綱要。根據該教學綱要，統計專業的課程設置應該涵蓋五個模塊[7]：（1）統計方法與統計理論。建立統計模型并對模型的輸出結果進行評價，熟悉統計推斷，能夠從數據分析中得出恰當的結論。（2）數據操作和統計計算。熟練使用一款專業統計軟件進行探索性數據分析，發現和清洗數據中的錯誤記錄，具有編程能力和算法思維，可以進行各種數據操作，還應掌握統計計算技術，能夠進行模擬研究。（3）數學基礎。熟練掌握微積分、線性代數、矩陣論、概率論和數理統計的基礎知識。（4）實踐訓練和表達能力。具有良好的表達和交流能力，善于通過圖示和動畫等聽眾易于理解的方式展示分析結論，并且具有團隊合作精神和項目領導能力。（5）特定領域的知識。掌握特定應用領域的知識，并用統計學特有的思維方法來分析和解決特定領域的實際問題。

大數據時代是以數據為中心的時代，統計學專業的教育改革必須適應這個時代的要求。統計數據分析中軟件應用能力至關重要。在眾多統計軟件中推薦使用R和SAS軟件，因為R是免費開源軟件，其統計建模、統計計算和可視化功能強大，更新迅速，是最新統計方法發布的主要平臺，非常有利于培養學生的編程能力和知識更新能力，而SAS軟件被很多公司用于數據管理和數據分析，在實際應用領域具有長期而深遠的影響，是數據分析不可或缺的專業統計軟件。當然，教學中也可以嘗試使用其他專業統計軟件，例如經濟統計專業學生也可使用SPSS軟件，但最好會使用SAS或R軟件。在加強軟件使用和編程能力的基礎上，應加強學生統計計算和統計模擬能力的培養。在大數據時代，強調統計計算的重要性是大勢所趨。統計模擬技術是伴隨著高速計算機和信息技術的快速發展而廣泛應用的現代技術，可用來解決傳統學科領域中無法解決的問題。例如，在計算技術飛速發展的今天，貝葉斯統計方法過去曾經面臨的計算瓶頸正在逐漸消失，基于馬爾科夫鏈蒙特卡洛（MCMC）技術的統計模擬方法在數據分析中的強大威力正在日益顯現[8]。

參考文獻：

[1] 劉春杰，大數據時代對當代統計學教育的挑戰，統計與決策，2015年，第8期。

[2] 孟生旺，袁衛，大數據時代的統計教育，統計研究，2015年，第32卷4期。

[3] 葛虹，韓偉，大數據時代統計教育變革的SWOT分析與發展策略，統計與決策，2015年，第4期。

[4] 張海波，黃世祥，統計學專業學生大數據分析能力的培養方式選擇，統計與決策，2014年，第24期。

[5] 李衛東，大數據對統計學科發展的影響，統計與決策，2014年，第13.期。

[6] 教育部高等學校統計類專業教學指導委員會.統計學專業教學單位.http：//statstsc.org/category/信息公開/教學單位，2013-11-15.

[7] American Statistical Association.2014 Curriculum Guidelines for Undergraduate Programs in Statistical Science [EB/OL].http：//www.amstat.org/education/curriculumguidelines.cfm，2014-11-15.

[8] 劉金山，基于MCMC技術的現代貝葉斯方法，統計與預測，2012年，第3期。