?

對計算機分析處理技術中的數據分析的探析

2016-04-07 13:29李晶
電腦知識與技術 2016年3期

李晶

摘要:數據分析在各個領域中應用廣泛,將其與計算機技術結合在一起,能夠提出一種新的方法。通過引用數據,該文生動地展現了數據處理的過程,揭示了聯機分析對于處理數據以及分析結果的重要性。

關鍵詞:聯機數據分析;處理數據;分析和轉換數據

中圖分類號:TP311 文獻標識碼:A 文章編號:1009-3044(2016)03-0006-03

為了提升大學物理公共課程的教學水平,更好地了解學生的學習情況,需要引用聯機數據技術,通過科學建立模型對教學數據進行處理和分析。維度模型的建立是為了能夠全方位地剖析數據。

1 建立數據模型

建立模型是為了更加直觀地表達數據和事實。對于同一批數據,人們總是會以不同的角度對其進行觀察,這就是維度。維度模型從不同的角度分析數據,最終得出一張事實表。

如圖1所示,維度模型包括了教材維度表,學期維度表,教師維度表,學生維度表和教學事實表。為了更好地分析教學效果,維度模型從四個不同的角度進行分析,每一張維度表上都注明了詳細的數據內容。最后,在總結四張維度表的基礎上,概括了最終的教學事實表。

2 OLAP技術

2.1 數據的采集

原有的Visual和SQL數據庫上儲存了學生的信息,教師的信息以及教學的數據等等。如圖二所示,教務數據庫中包含了課程信息表,學生信息表以及選課成績表。DTS工具能夠從不同的數據庫中自動抽取需要進行分析的數據,并且將其全部集中在一個新的數據庫中。新的SQL數據庫既可以儲存信息,還能夠對信息進行管理。聯機分析處理技術從不同的角度分析數據,有助于全面了解學生的學習情況和教師的教學質量。

2.2 數據分析的結構

從圖2中可以看出,數據分析的結構包括了四層,其中最底層的是各種信息數據庫和文本文件,在此基礎上建立數據ETL,然后建立相應的維度模型,最后利用聯機分析技術對數據進行分析。采集數據和轉換數據是使用聯機分析技術的基礎,也是必不可少的一步。多維度分析是該結構中的最后一步,最終的結果將會把數據轉換成圖表的形式呈現出來。

2.3 轉換數據

由于不同數據的語法可能存在差異,因此,把不同的數據轉換成相同的結構顯得尤為必要。在聯機分析技術應用的過程中,轉換數據是關鍵的一步,能否成功轉換數據,決定了維度模型的建立是否具有科學性與全面性。轉換數據是為了解決語法,語義結構不同引起的問題。

和數據語義不同相比,處理不同語法的數據顯得更為簡單。如果數據本身和目標數據之間存在語法結構不同的問題,那么只需要通過函數對其進行轉換即可。一般來說,數據本身的內容并不會影響轉換過程,只要建立原數據和目標數據之間的對應關系,就能解決數據名稱存在沖突的問題。例如,學生數據庫本身的信息包括了學生的ID和班級,這就相當于最終目標數據中學生對應的名稱和班別。如果數據類型不同,可以運用相應的函數對其進行轉換,例如trim()函數就能完成數據的轉換。下面是利用函數對原數據中學生的ID,專業以及院名進行轉換的過程,其轉換代碼如下:

Function Main()

DTSDestination(“ID”)=trim(DTSSourse(“名稱”))

DTSDestination(“專業”)=cstr(DTSSourse(“專業”))

DTSDestination(“院名”)=trim(DTSSourse(“學院”))

Main=DTSTransformStat_OK

End Function

轉換不同語義結構的數據是一個復雜的過程,它需要重視數據本身的信息和內容。因此,僅僅通過一步完成數據轉換的過程是幾乎不可能的,它需要將原數據進行一次次轉換,才能得到最終的目標數據。例如每一個教師都有發表論文以及開展項目,在原數據中只能看到項目的名稱和論文的名稱,如果需要將其轉換成教師的論文數量和項目數量,則需要經過兩步的數據轉換。

2.4 數據結果分析

原數據從SQL中提取出來,然后通過函數對其進行轉換,最后利用聯機分析技術進行數據管理和分析,從不同的角度研究數據,從而全面分析學生的學習情況和教師的教學情況。數據分析的方法有很多種,其目的都是為了全方位地剖析數據。

2.4.1 高校教師教學質量的對比分析

在教師維度表中,我們已經按照教師的從業年齡,學歷以及職稱對其進行劃分,不同職稱的教師,其教學質量有著明顯的區別。教師的學歷不同,教齡有所差異,這都和教學效果息息相關。

2.4.2 不同時期對教學質量的影響分析

聯機分析處理技術能夠從多角度分析數據,教學質量不可能是一成不變的,它與多個因素密不可分,時間也是其中一個因素。在不同的時期,由于政策的變動和外界因素的影響,教師的教學質量也會隨之而受到不同程度的影響。

2.4.3 教學質量和其他因素息息相關

除了時間和教師的水平會對教學質量造成一定的影響,還有其他因素同樣會影響教學效果,例如:學生的學習能力,學校選用的課本等。綜合考慮各個因素對教學效果的影響,有利于教育部門更好地作出相應的政策調整。

3 計算機分析處理技術中的數據處理方法分析

無可置疑,計算機技術的出現顛覆了人們傳統的思想和工作模式。如今,計算機技術已經全面滲透到我們生活中和工作中的各個方面。不管是在工業生產還是科研數據處理中,計算機技術都發揮著不可替代的作用。如今我們需要處理的數據正與日俱增,這就意味著傳統的數據處理方法已經無法滿足人們的需求了。儀表生產和系統控制要求數據具有高度精確性,這些數字在顯示之前,都必須經過一系列的轉換,計算以及處理。首先,數據會以一種形式經過轉換器,然后變成另一種新的形式,只有這樣計算機才能對數據進行處理和分析。處理數據是一個復雜多變的過程,它的方法并不是單一的,根據數據處理的目標不同,需要選擇不同的數據處理方法。例如,有的數據需要進行標度轉換,但有些數據只需要進行簡單計算即可,計算機技術的不斷進步是為了更好地應對人們對數據處理新的需要。

計算機數據處理技術的應用離不開系統,它比傳統的系統更加具有優越性:

1)自動更正功能,計算機系統在處理數據時,對于計算結果出現的誤差能夠及時修正,確保結果的準確度。

2)傳統模擬系統只能進行數據的簡單計算,而計算機系統則能夠處理復雜多變的數據,其適用范圍和領域更加廣。

3)計算機系統不需要過多的硬件,只需要編寫相應的程序就能夠完成數據的處理,在節省空間的同時也降低了數據處理的成本。

4)計算機系統特有的監控系統,能夠隨時監測系統的安全性,從而確保數據的準確度。

對于不同的數據,往往需要采用不同的處理方式,處理數據的簡單方法包括查表,計算等。除此之外,標度轉換,數字濾波同樣是應用十分廣的處理技術。

3.1 數據計算

在各種數據處理方法中,計算法是最為簡單的一種,利用現有的數據設置程序,然后直接通過計算得出最終的目標數據。一般來說,利用這種方法處理數據需要遵循一個過程:首先,求表達式,這是計算法最基本的一步;其次,設計電路,在此之前必須將轉換器的位數確定下來;最后,利用第一步已經求出的表達式運算數據。

3.2 數據查表

3.2.1 按順序查表格

當需要搜索表格中的數據時,往往需要按照一定的順序和步驟。首先,明確表格的地址和長度,然后再設置關鍵詞,最后按照順序進行搜索。

3.2.2 通過計算查表格

這是一種較為簡單的方法,適用范圍并不廣。只有當數據之間表現出明顯的規律或者數據之間存在某種關系時,才能夠使用這種方法查表格。

3.2.3 利用程序查表格

相比于上述的兩種方法,利用程序查表格是一種相對復雜的方法,但是這種方法的優點在于查找效率高,并且準確度高。

3.3 數據濾波處理

采集數據并不難,但是確保每一個數據的真實性卻十分困難,尤其是在工業系統中,數據的測量難以確保絕對準確,因為在測量的過程中,外界環境對數據的影響往往是難以預估的。為了提高數據處理的精確度和準確率,需要借助檢測系統對采集的數據進行深加工。盡可能地讓處理的數據接近真實的數據,并且在數據采集的過程中最大限度地減少外界因素對其的影響,從而提高計算結果的準確度。

濾波處理技術的應用首先要確定數據的偏差,一般來說,每兩個測量數據之間都會存在一定的誤差,首先需要計算數據與數據之間可能出現的最大誤差。一旦超出這一數值,可以認定數據無效,只有符合偏差范圍內的數據,才能進行下一步的處理。

為了減少由于外界影響導致數據失真的情況,利用程序過濾數據是很有必要的。濾波技術有幾種,根據不同的需要可以選擇相應的數據處理技術,每一種數據濾波技術都有其適用范圍和優點。數據濾波技術包括算術平均值濾波,加權平均值濾波,中值濾波,限幅濾波,限速濾波以及其他類型的濾波技術。

3.4 轉換量程和標度

在測量數據的過程中,每一種參數都有相應的單位,為了方便數據處理,需要使用轉換器把數據轉換為統一的信號。標度轉換是必不可少的,為了加強系統的管理和監測,需要不同單位的數字量。轉換方法包括非線性參數標度變換,參數標度變換,量程轉換,這幾種轉換方法在數據處理的過程中較為常見。當計算過程遇到困難,可以結合其他的標度轉換方法進行數據處理。

3.5 非線性補償計算法

3.5.1 線性插值計算方法

信號的輸入和輸出往往會存在一定的關系。曲線的斜率和誤差之間存在正相關關系,斜率越大,誤差越大。由此可見,這一計算方法僅僅適用于處理變化不大的數據。當曲線繪制選用的數據越多,曲線的準確程度越高,偏差越小。

3.5.2 拋物線計算方法

拋物線計算方法是一種常用的數據處理方法,只需要采集三組數據,就可以連成一條拋物線。相比于直線,拋物線更加接近真實的曲線,從而提高數據的準確度。拋物線計算法的過程,只需要求出最后兩步計算中的M值,就能夠直接輸入數據得出結果。

3.6 數據長度的處理

當輸入數據和輸出數據的長度不一,需要對其進行轉換,使數據長度達到一致。由于采集數據所使用的轉換器和轉換數據所選擇的轉換器不同,因此,當輸入位數大于輸出位數,可以通過移位的方法使位數變成相同。相反,當輸入位數少于輸出位數時,可以使用填充的方法將其轉換成相同的位數。

4 結語

本文對聯機分析技術進行了詳細的論述,該技術的應用對于評價教學效果有著重要的意義。在物理公共課程中,教學數據數量巨大,如果利用傳統的方法對其進行分析,將會耗費大量的人力物力,而采用OLAP技術則能更加快速準確地分析處理數據。數據分析是評估教學質量必經的過程,而使用QLAP技術是為了能夠多層次,全方位地分析各個因素對教學質量的影響,從而更好地改進高校教育中存在的不足。除了分析物理課程數據,聯機分析技術同樣適用于其他課程的數據處理和分析。

參考文獻:

[1] Ralph kimball,Margy Ross.The Data Warehouse Toolkit:the Complete Guide to Dimensional Modeling[M]..北京:電子工業出版社,2003.

[2] 陳躍國,王京春.數據集成綜述[J]..計算機科學,2004,31(5):48.

[3] 王珊.數據倉庫技術與聯機分析處理[M]..北京:科學出版社,1999.

91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合