大數據視角下高職院校數據治理方案探究

張英偉，溫守東，胡宇航，龔碩然

(河北旅游職業學院，河北 承德 067000）

隨著信息技術的快速發展，高校信息化建設過程產生的數據量呈指數級增長，數據治理工作也隨之進入大數據時代[1]。數據質量是高校數據治理的重中之重，只有高質量的數據，才能給學校的發展帶來高效率和高價值[2]。數據治理是解決數據質量低、數據流混亂、共享度差、歷史數據缺失等問題的必要措施，通過有效的數據治理能夠在師生管理、教學、科研等方面更全面地服務于高校發展，使師生充分享受大數據帶來的個性化數據服務[3]。數據治理為高校組織應對大數據挑戰提供了理論工具和實踐途徑[4]。

一、國內外高校信息化建設與數據治理背景

1、國外高校信息化建設及數據治理

自進入二十一世紀以來，西方發達國家十分重視高校的信息化建設，以美國為例，哈佛、斯坦福、伯克利等高校每年對學校信息化建設投入均不低于年度預算的8%，信息化人員隊伍不低于全校師生總數3%，大多高校有著完善的信息化管理體系，建立首席信息官（CIO）制度，CIO職位由學校領導擔任，積極推動和實施學校的信息化建設和治理工作。

總體來講，美國高校信息化建設和數據治理的發展趨勢主要體現在高校信息化系統由功能簡單獨立系統向多領域融合的巨型系統發展，數據治理日趨復雜并具有不確定性；高校信息化建設是一項重大的系統工程，政府及行業的前瞻性政策和戰略研究對高校信息化發展尤為重要；高校的信息化建設涉及到學校管理架構的變革，滲透到高校發展的方方面面，教師、學生的訴求在信息化建設中得到充分體現。

2、國內高校信息化建設與數據治理

與發達國家相比，我國高校信息化建設起步較晚，但經過近二十年的信息化建設，我國高校大多也完成了由網絡校園向數字校園的轉型，基本實現了數字教育資源的共享與利用，各高校在教學、科研、招生、就業和行政管理等方面也得以提升。近年來，隨著新興信息技術的崛起，已經完成數字校園建設的高校又逐步開展了以大數據、物聯網、云計算為基礎，以各種應用信息系統為載體的智慧校園建設，但由于各高校在由網絡化向數字化轉型過程中積累的海量數據未得到有效的處理，各高校的智慧校園建設水平參差不齊。

為提升高校信息化建設與應用水平，支撐教育高質量發展，教育部聯合多部委于2021年制定了《高等學校數字校園建設規范（試行）》和《關于推進教育新型基礎設施建設構建高質量教育支撐體系的指導意見》文件，對高校數字校園和智慧校園建設提出新的要求，以標準規范促進教育信息化支撐引領教育現代化發展，為各高校在信息網絡、平臺體系、數字資源、智慧校園、創新應用、可信安全等方面建設指明了方向。在國家和政府的大力支持下，高校管理決策層對學校信息化建設的重視程度越來越高，經費投入也逐年加大，截至2020年底，我國高校平均每年在學校信息化建設和數據治理方面投入近千萬元。隨著大數據、物聯網、云計算技術在高校信息化建設中的應用，預計在“十四五”期間高校信息化投入可能迎來爆發期，信息化建設也將再度升級。

與本科高校相比，高職院校在信息化建設過程中存在著辦學背景復雜、校園建設規模小、信息化技術落后、信息技術人員缺乏、技術管理不規范等問題。大多數高職院校在數字校園向智慧校園轉型過程中存在著數據標準不統一、數據采集困難、數據ETL（抽取、清洗、轉換、裝載）過程不規范、數據共享難度大等數據治理問題，這些問題嚴重影響著高職院校的課堂教學、學生管理、教學診改、質量評估、人事績效考核、招生就業、校企合作等工作的有效開展。因此筆者認為，只有通過數據治理才能保證高職院校順利完成數字校園向智慧校園的轉型，保證高職院校的數據價值在規范性、準確性、一致性、高效性方面的實現，進而為師生提供更好的數據服務。

二、高職院校數據治理方案探索

1、數據治理的管理制度建設

（1）組織領導。數據治理的本質是針對數據價值實現與數據風險管控的平衡而進行數據決策權和職責的分配，數據治理要持續推進必須要有堅實而完善的管理制度體系做支撐。學校要建立信息化建設委員會，CIO（首席信息官）由學校主管校長或書記擔任，委員會成員要覆蓋學校各系部、行政部門、業務部門領導，委員會可設立信息化領導小組和專家咨詢小組，組成信息化建設和數據治理的領導、決策、監督和評估部門，保障學校數據治理工作順利開展。

（2）部門合作。數據治理不是由學校電教中心或信息技術部門單方面完成的工作，學校各教學系部、行政部門、業務部門均需要跨部門合作，參與數據規劃、數據標準等需求的制定，信息技術部門根據各部門制定好的需求，為數據治理實施工作提供技術支撐。

（3）隊伍建設。學校數據治理工作想全速推進，必須要大力培養或引入專業技術人才，保證技術人員結構的穩定性，通過破格錄用、待遇提升、職稱優評等方式吸引并留住更多的技術人員參與到學校的信息化建設和數據治理工作中。

（4）校企聯合。學校的信息化建設和數據治理工作不能閉門造車，只有積極的與高新技術企業共同合作、共同開發、共同成長，將新興的大數據、云計算、物聯網技術應用到智慧校園的建設中，才能做到合作共贏、與時俱進。

2、數據治理體系構建

高職院校在由數字化建設過程積累最多、最有價值、最有待挖掘的是數據。從數據中發現有價值的信息，深入挖掘、綜合利用、為學校師生提供高效的服務，才是學校數據治理真正價值的體現。從管理的角度來看，如何進行業務流程的梳理，提高數據質量，是學校數據治理最重要的工作之一，但由于數據標準不統一、數據不準確、數據缺失、數據不能共享等問題，導致數據統計困難和數據孤島的產生。要解決以上問題，就要制定標準的數據治理流程（圖1）。

圖1 數據治理流程

（1）治理數據源

在數字校園建設過程中，數據分散在不同的部門和業務系統中，由于各系統軟件設計不一致、操作流程不規范、數據標準缺失、管理流程混亂等問題嚴重影響數據的質量，只有建立數據標準，才能實現數據的有效整合和應用。

首先，要制定數據標準規范體系，主要包括數據標準執行規范、元數據管理規范、數據訪問安全規范、數據集成與共享規范、數據質量保障規范、數據接口與調用規范、數據存檔操作規范、數據開發設計規范、數據權限認定規范和軟件操作流程規范等文件，只有建成數據標準規范體系才能為建立大數據池和一體化大數據平臺提供基礎支撐。

其次，要形成數據考核評價體系，主要涉及數據標準執行考核評價、數據質量考核評價、數據安全考核評價、數據管理與維護考核評價、數據交換與集成考核評價、數據存檔考核評價等內容，考核評價體系的建立為數據源的有效治理提供有力的制度保障。

最后，要根據以上數據標準規范和考核評價體系，加強對學校各系部和業務部門的調研并確定數據源的范圍，包括電子類數據（如各業務系統數據、網絡設備數據、校內外網站數據、移動APP數據、校園監控數據等）和紙質數據（如校友信息、學校校史檔案、紙質教案等）。確定數據源范圍后，數據治理人員應對數據源進行鑒別，監測數據質量、收集各類數據源的元數據信息、梳理數據源的數據結構、確定各類數據源之間的數據流向，為建立校級大數據池打好基礎。

（2）建立校級大數據池

通過對各類電子數據的采集、清洗、裝載和對紙質數據的轉換與整合形成標準的、規范的、全面的校級大數據池。大數據池內涵蓋了學校的教學、財務、后勤、學管、科研、診改、人事等標準化的基礎數據。

建立大數據池的第一步是要進行數據采集，根據已制定的數據標準規范采集學校的教務系統、圖書館管理系統、招生就業系統、學生管理系統、人事管理系統、財務系統等業務系統后臺數據庫數據；通過網絡爬蟲、Flume等技術對校園論壇、校外招聘網站、網絡課堂等日志數據進行爬取和采集；利用電子掃描、智能識別等技術將校友信息、學校校史檔案、紙質教案等紙質數據進行電子轉化；將網絡設備數據、監控數據等通過Socket、ftp等技術進行采集。

第二步是進行數據的ETL（抽取、轉換、裝載）操作。首先要根據各業務系統、網站數據、紙質數據特點確定各類數據的抽取頻率，對于實時性要求較高的系統數據可將抽取頻率設置成為按毫秒、秒或分鐘頻率抽??；離線類數據，如學生信息、教工信息等可適當降低數據抽取頻率，如設置成為按日、周、月或季度等頻率抽取。數據清洗是通過刪除錯誤數據、降低數據冗余度、提升數據結構一致性等操作來提升數據質量，例如在統計學生信息時學生的身份證號碼信息可能出現位數錯誤，學生姓名可能出現空格等問題，這就需要通過位數限定、保留數字、轉換字段、字符串替換、空值檢查、缺失檢查、值域檢查、大小寫轉換、去空格、行列的拆分與去重等數據清洗算法保證同類異構數據的數據結構標準統一。數據轉換是指對各業務系統數據庫中的數據，紙質電子化數據進行轉換，數據轉換要提供數據格式修正、日期與時間轉換、度量單位轉換、字段解碼、字段分離、同類異構數據合并、鍵值重構等操作，保證數據之間的快速流通。數據裝載就是把已經通過采集、抽取、清洗、轉換的數據加載到各類數據庫中最終形成校級大數據池，數據裝載的方式有批量式加載、單條數據加載和數據刷新等形式，加載過程一定要支持各業務系統的運行過程中實時裝載。

（3）構建數據倉庫與數據集市

經過ETL處理后的數據，根據數據類型和后期應用特點分類存儲在Hadoop分布式系統集群的數據倉庫中，為后期數據可視化中各類應用提供服務。其中結構化數據，如學生信息、教工信息、財務數據、圖書館管理數據主要存儲在MySQL、Hive數據庫中，半結構化數據和非結構化數據，如監控數據、教案文檔、網站數據、日志數據、點擊流數據等主要通過Hbase、MongoDB、Kafka等進行存儲。數據倉庫與各業務系統之間數據的數據流動主要是通過統一標準的API（應用程序接口），如ODBC/JDBC數據庫接口、XML數據接口、Web Service進行數據同步處理。

數據倉庫的建立解決了學校海量數據分布式存儲問題，但數據治理的目的是改善學校師生的數據體驗問題，實現“數據多跑路，師生少跑路”，因為師生的日常數據需求是不斷變化的，學生和教職工因為角色不同對數據信息的需求也不相同，這就要求數據倉庫中存儲的數據具有充分的靈活性，能夠適應學生和教職工的各類查詢和分析。為了解決需求靈活性和問題，要在校級數據倉庫中建立數據集市，數據集市可以理解為數據倉庫的子集，與面向全校的海量數據存儲的數據倉庫不同的是，數據集市主要面向特定的部門或用戶群體，如面向學校領導主要存儲教學質量數據、學生招生就業數據、高水平學科建設信息、教工人員結構數據和學校輿情；面向學生主要存儲各類課程信息、圖書信息、就業信息、移動校園信息等數據；面向教師主要存儲教學信息、課程建設信息、教務信息、科研信息；面向財務人員主要展示財務報表數據、學生收費數據、學校日常收支數據；面向后勤和保衛人員主要存儲日常監控數據、疫情防控數據、樓宇教室數據。數據集市根據學校師生的大多需求預先設定好模型與算法，從而滿足不同角色用戶對的個性化數據需求，緩解數據倉庫數據訪問瓶頸問題，為師生快速獲取校園信息提供便利條件。

（4）數據可視化服務

數據集市的創建為學校不同類型用戶的個性化需求提供了數據存儲與分析服務，但這些數據大多是以數值和文本的方式顯示，不能直觀、友好的向師生展示數據間的關系和規律，因此需要數據可視化技術對各類數據集市中的數據進行分析與展示，數據可視化過程如圖2：

圖2 數據可視化過程

數據可視化可以通過使用Echart、Matplotlib、VUE等工具對數據進行圖表處理，通過NLTK、jieba等工具對文本數據處理。數據可視化工具的利用可以將學生畫像信息、學校輿情、就業指導、科研與學科建設、慕課學習、校園數據安全、數據搜索、移動校園等信息通過網站、移動端APP等媒介直觀個性化的展現給學校師生。

三、高職院校數據治理存在的問題與發展方向

1、數據治理存在的問題

（1）學校對數據治理重視度不夠?，F階段大多數高職院校都是校領導掛名，信息技術部門牽頭推進數據治理工作，學校各系部、行政部門和業務部門對數據治理了解程度和支持力度不足。要實現數字校園向智慧校園的轉型，學校決策層必須將數據治理作為學校信息化建設的“一把手”工作，只有建立符合國家和行業的統一數據治理標準體系和責權體系才能調動各部門的積極性，推進數據治理工作持續快速發展。

（2）信息化建設對學校重要事業支撐不足。高職院校的數據治理工作極大的提升了數據質量，但學校對數據挖掘和利用還不夠深入和全面，特別是對涉及到學校的重要事業，如高水平專業建設、教學能力提升、教學質量評估、學生就業等工作的數據支撐力度明顯不足。

（3）對數據安全和數據監控的管理能力有待加強。數據治理的目的是提升數據質量，為師生提供更好的數據服務。但部分高職院校因為信息技術人員過于依賴現有的系統環境、人員素質及管理機制缺失、數據安全保護意識不強等問題，使學校的數據安全難以得到保障。只有通過對用戶權限控制、數據脫敏、用戶身份認證等方面的管控，加強對數據采集、清洗、轉換、整合、裝載過程中的監管力度才能保證數據質量的提升，降低學校數據安全風險。

2、數據治理發展方向

（1）數據獲取與數據存儲方式的變革。物聯網技術的發展讓高職院校數據的獲取方式產生了巨大變化， RFID（射頻識別技術）、二維碼、傳感器、監控攝像頭等數據感知技術產生的數據讓學校數據量呈爆發式增長，也為高校的數據存儲能力額數據分析能力提出了極大挑戰。云計算技術由于其具有高性能、高可用、動態分布式存儲計算、成本低、安全性高、免維護等特點備受高校青睞，學校根據自身信息化建設特點，通過IaaS（基礎設施即服務）、PaaS（平臺即服務）、SaaS（軟件即服務）等形式進行校園的信息化建設和數據治理工作。

（2）數據服務能力提升。隨著高職院校信息化建設水平的逐步提升，學校師生對數據服務的需求也會隨之增加，這就要讓更多部門直接參與數據流程再造和數據分析過程，充分發掘數據價值，通過更加廣泛的數據采集和數據完善方法，不斷的優化大數據分析算法和模型，豐富數據治理可視化方式，提供對移動端數據支持，不斷完善移動端APP和網上服務大廳的應用，促進數據服務能力的高效提升。

（3）數據共享持續推進。高職院校要以數據治理為抓手，以全量數據交換為突破，從數據治理的薄弱環節（如資產、審計、綜合辦公等）入手，構建完善的大數據生態體系，推進全量大數據中心和一站式服務平臺建設，實現數據全生命周期監控管理，穩步提升數據質量。同時要積極與高水平院校建設信息化發展聯盟，加強數據共享，推進智慧校園水平的全面提升。