杭天文++李文西++陳明++龔鑫鑫++徐迅燕++高潔++吳兵++張月平++張炳寧
摘要 首先闡述了耕地質量數據的重要性以及國內外研究現狀,分析了現有耕地質量數據的特點和用戶需求,針對需要建立面向行政領導、農業技術人員、農戶等對象的全國耕地質量大數據平臺,實現數據的統一和標準化管理,科學分析、深度挖掘數據價值,為全國政府部門、技術推廣服務機構以及社會大眾提供各類服務。
關鍵詞 耕地質量;大數據平臺;云計算;平臺設計;中國
中圖分類號 S126 文獻標識碼 A 文章編號 1007-5739(2016)22-0296-03
耕地是糧食安全和農業生產力的基礎要素,是不可再生、不可替代的稀缺資源[1-2]。耕地質量的優劣直接影響農產品質量安全,影響農業增效和農民增收,關系到農業、農村和整個國民經濟可持續發展[3]。2016年中央一號文件再次聚焦農業,明確指出實施耕地質量保護與提升行動,加強耕地質量調查評價與監測,2016年7月農業部發布《耕地質量調查監測與評價辦法》明確指出各級人民政府農業主管部門是耕地質量監測與評價工作的責任主體[4]。建設耕地質量大數據平臺,應用全國耕地質量調查成果,可以為政府決策、科學研究、農業技術推廣提供有力支撐。
1 國內外研究進展
1.1 國外概況
1972年加拿大土壤信息系統(CSIS)建成[5],在此之前各省已相繼建立土壤數據庫[6-7],如1966年British Columbian建立了土壤數據庫,1967年Alberta建立了空間土壤分析數據庫。1975年英國Macauly土壤信息研究所在蘇格蘭試建第一個土壤數據庫[8],但是由于各專業部門加入的信息沒有采取統一的接口標準,因此數據的傳輸調用極為不便,直到1983年建立聯合土壤數據庫后這一狀況才有所改善。美國在20世紀70年代初創建土壤數據庫,20世紀80年代初州級土壤地理數據庫系統及國家土壤地理數據庫系統均建設完成[9]。1986年國際土壤學會開始著手建立1∶100萬世界土壤和地形數字化數據庫(world soils and terrain digital data base,簡稱SOTER),目的是建立一個包含數字化地圖單元及其屬性數據的世界土壤-地形體數據庫[10]。20世紀80年代末,隨著“3S”技術和自動制圖技術等高新技術的發展與應用,在數據更新、動態評價、評價精度等方面取得很大進展,并能快速完成多維、多元信息復合分析。目前,世界上許多國家都建立了有一定影響的土地資源信息系統[11-12],如美國紐約土地利用與自然資源信息系統(LUNR)、美國明尼蘇達土地管理信息系統(MLMIS)、新西蘭微型計算機土地信息系統(MIDGE,Giltap)、澳大利亞SIRO土地利用規劃信息系統、日本國家土地資源數據庫系統、法國國土信息系統以及英國土地資源信息系統等。隨著地理信息系統技術的發展,耕地質量的數據越來越豐富,人們通過地理信息系統建立了各自的耕地質量數據庫,實現了耕地資源的數字化、信息化管理。
1.2 國內概況
20世紀80年代中期我國開始建立土壤數據庫。1986年,北京大學遙感中心建立了區域土壤侵蝕信息系統。1989年南京土壤研究所研究完成1∶50萬東北三江平原土壤信息系統。浙江省建立了1∶5萬大比例尺土壤數據庫[13-15]。2004年南京土壤研究所建成1∶100萬土壤數據庫[16],2007年建立中國土壤信息系統(SISChina,soil information system of China),它包含了不同尺度的土壤空間數據、土壤剖面屬性數據、土壤空間與屬性融合后的土壤專題空間化數據、土壤類型參比數據以及應用國際土壤主流分類的中國土壤分布特征數據[17]。設在中國農科院的國家土壤信息中心對全國第二次土壤普查資料進行了搜集整理,建立了相關的數據庫。上述這些成果在我國耕地管理方面都發揮了一定的作用,但由于缺乏統一的描述標準,沒有信息資源相互融合的數據平臺,影響了數據資源的有效管理和應用[18]。
2 平臺設計
2.1 需求分析
建國以來,我國分別于20世紀50年代和80年代組織了2次全國規模的耕地調查,于21世紀初組織了全國范圍的耕地質量調查與質量評價[19];新中國成立60多年來,我國農業科研和推廣部門做了大量的田間試驗,積累了海量的試驗數據[20]。這些數據目前大多分散在各個地區、各個部門的檔案柜或電腦中,利用率很低,甚至同一地區的不同部門都無法共享將之應用于實際的農業生產。更嚴重的情況是由于機構調整、人員調動、辦公地點搬遷等情況,許多寶貴的資料正在迅速流失或遺失。為了保護這些珍貴的數據資源并將之應用于耕地質量管理和農業生產,農業部委托揚州市耕地質量保護站在已有的工作基礎上建設集耕地、肥料、墑情、環境等數據于一體的全國耕地質量大數據平臺,通過數據的標準化管理、高效云平臺服務、多形式的信息發布模式以及安全運維管理機制,為社會各種需求提供數據服務。
政府行政部門為農業部以及省、市、縣各級農業部門提供地圖瀏覽、信息查詢、統計、成果輸出等服務。涉及數據內容包括土壤類型、面積、分布,土壤養分狀況(pH值、有機質、全氮、有效磷、速效鉀等以及變化趨勢),土地利用現狀,耕地地力等級,耕地環境質量,主要作物類型、分布、產量,土壤墑情(實時、歷史),肥料生產、銷售、價格情況,高標準糧田分布、面積、建設內容,補充耕地和設施農業等內容。
研究及農業技術部門為國家、省、市、縣專業技術人員提供地圖瀏覽、信息查詢、成果輸出,以及數據準備、制作、管理、上報等服務。社會大眾為廣大農民提供承包田塊的基礎數據以及關于耕種、施肥、灌溉等農事措施的具體建議。這些建議可通過手機短信、微信、數據客戶端、觸摸屏一體機、網頁瀏覽器等方便快捷的方式送達農民。
2.2 設計原則
2.2.1 整體性和開放性的原則。在本項目系統設計時將充分考慮國家、省、市、縣不同用戶的需求和數據流動的規律,整體設計規劃,既注重各種信息資源的有機整合,同時也考慮具有一定的開放性,把握好信息集中存放和共享的協調。
2.2.2 可擴展性和易維護性的原則。在設計時應具有一定的前瞻性,充分考慮系統升級、擴容、擴充和維護的可行性。針對本系統涉及用戶多、業務繁雜的特點,充分考慮提高業務處理的響應速度以及統計匯總的速度和精度。
2.2.3 經濟性和實用性的原則。系統的設計實施盡量節省項目投資,具有較好的性能價格比,設計面向實際,注重實效,堅持實用、經濟的原則,合理利用現有設備和信息資源。
2.2.4 先進性和成熟性的原則。在系統設計時,將充分應用先進和成熟的技術,滿足建設的要求,把科學的管理理念與先進的技術手段緊密結合起來,提出先進合理的業務流程。系統將使用先進成熟的技術手段和標準化產品,使系統具有較高性能,符合當今技術發展方向,確保系統具有較強的生命力,有長期的使用價值,符合未來的發展趨勢。
2.2.5 可靠性和穩定性的原則。在設計時采用了可靠的技術,系統各環節具備故障分析與恢復和容錯能力,并在安全體系建設、復雜環節解決方案和系統切換等各方面考慮周到、切實可行,建成的系統將安全可靠、穩定性強,把各種可能的風險降至最低。
2.2.6 安全性和保密性的原則。在系統設計把安全性放在首位,既考慮信息資源的充分共享,也考慮了信息的保護和隔離;系統在各個層次對訪問都進行了控制,設置了嚴格的操作權限;并充分利用日志系統、健全的備份和恢復策略增強系統的安全性。
2.3 框架結構
全國耕地質量大數據平臺由網絡硬件系統、數據存儲管理系統、服務端系統、內網客戶端系統、外網客戶端系統組成(圖1)。用戶分為國家、省、市、縣級行政領導,國家、省、市、縣級專業技術人員和社會公眾。行政領導通過內網專線訪問全國耕地質量大數據平臺,應用數據統計、分析、匯總、瀏覽以及成果輸出等功能;專業技術人員也是通過內網專線定期向全國耕地質量大數據平臺上傳、制作相關數據;社會公眾通過手機短信、微信、數據客戶端、觸摸屏一體機、網頁瀏覽器等方式通過外網瀏覽、查詢全國耕地質量大數據平臺發布的信息。內網與外網之間通過網閘隔離確保數據的安全。
2.4 系統開發環境
服務端系統采用Web Service結構進行開發,具體采用微軟的WCF(Windows Communication Foundation)技術,開發環境為Microsoft Visual Studio 2010,開發語言為VB.NET和 C#等,地理信息系統環境為ArcEngine SDK和Arc Objects SDK。
客戶端系統開發環境為Microsoft Visual Studio 2010,開發語言為VB.NET和C#等,地理信息系統環境為ArcEngine SDK、ArcGIS Runtime of .NET、ArcGIS Runtime of Java、ArcGIS Runtime of Android、ArcGIS Runtime of iOS等。不同的系統開發環境有所不同,其中ArcGIS Runtime of Android、ArcGIS Runtime of iOS用于開發用戶移動手機端應用。
2.5 系統運行環境
服務端運行環境為.NET 3.5或以上版本、ArcGIS for Desktop、ArcGIS for Server、ArcEngine Runtime等??蛻舳烁鶕煌南到y運行環境采用不同的工具軟件,主要包括.NET 3.5或以上版本、ArcEngine Runtime、ArcGIS Runtime of .NET、ArcGIS Runtime of Java等。
2.6 數據庫設計
全國耕地質量大數據平臺包括耕地質量監測、耕地質量評價、測土配方施肥、土壤墑情監測等工作和項目的結構化數據、半結構化數據和非結構化數據。該平臺數據量大、數據類型復雜、數據保密要求高,單一的、傳統的數據庫已經不能滿足數據存儲管理的要求,平臺按照項目進行劃分,根據不同工作、項目數據的特點分別使用不同類型的數據庫軟件和大數據管理軟件對數據進行存儲管理。采用Microsoft SQL Server、Oracle、Greenplum等數據庫存儲管理結構化數據;采用ArcSDE管理空間數據;Hadoop管理非結構化數據。
3 平臺關鍵技術
3.1 數據規范與數據預處理
耕地質量評價項目數據由各項目單位采集,有的項目單位在實施項目沒有使用規定的數據標準,這些數據進入耕地質量大數據平臺前需要進一步規范處理。目前測土配方施肥數據采用SQL Server數據庫存儲管理,數據標準相對比較規范。耕地質量評價項目數據進入耕地質量大數據平臺 Oracle數據庫需要做數據預處理,其他項目數據也需要根據數據庫的特點進行預處理。
3.2 硬件框架
服務器虛擬化可以提高資源的利用率,簡化系統管理,實現服務器整合。將服務器物理資源抽象成邏輯資源,讓一臺服務器變成若干臺相互隔離的虛擬服務器,不再受限于物理上的界限,且CPU、內存、磁盤、I/O等硬件可以成為動態管理的“資源池”,從而提高資源的利用率,簡化系統管理。
3.3 構建全國地圖
耕地質量大數據平臺需要分別展示全國、省、地市、縣、鄉鎮及以下級別的成果,構建全國地圖需要應用ArcGIS Server 緩存服務。地圖緩存服務就是能夠利用靜態圖片快速提供地圖的服務。ArcGIS Server 緩存服務由ArcGIS Server 預生成的一套地圖圖片快速顯示,滿足用戶對地圖的請求。構建全國地圖首先需要制定緩存方案,緩存方案中如果等級過少、分配不合理、直接影響地圖瀏覽效果,如果等級過多,工作量成幾何倍數增加。制定一個科學合理的地圖切片方案非常重要,國內外不同的地圖服務提供商都有適合自己的切片方案。耕地質量大數據平臺是參照Google、Bing、ArcGIS等公司的切片方案,按照表1方案進行切片,共20個級別。第0、1、2個級別在全國地圖上一般不需要使用,為世界地圖預留展示空間,這3個級別是否顯示通過軟件開發控制,第19個級別一般不使用,僅為特殊需求,做全國母圖時預留。
具體全國地圖制作流程:①制作國家級地圖,并按照緩存方案進行發布,對所有級別進行切片;②分別省市、地市、縣市、鄉鎮及以下級別地圖,并按照緩存方案進行發布,對相應級別進行切片;③省市、地市、縣市、鄉鎮及以下級別地圖切片導出,導出后再分別導入到國家級地圖中,覆蓋國家級地圖相應的級別和范圍;④最終形成全國一張圖。
3.4 功能模塊
3.4.1 安全認證模塊。為了確保數據安全,耕地質量大數據平臺除了用戶名和密碼管理外還使用了軟件狗進行認證,對數據上傳、發布、編輯和刪除操作需要驗證軟件狗,不插入軟件狗或者軟件狗驗證不通過只能瀏覽數據,不能修改數據。
3.4.2 數據上報模塊。數據上報模塊分客戶發送模塊和服務端接收模塊,由客戶模塊發出數據上報的請求,等待服務端接收模塊響應并建立數據上傳通訊,然后客戶模塊每次發送100 K二進制內容,服務端模塊進行接收,直達文件傳輸結束。
3.4.3 地圖發布模塊。地圖發布需要使用ArcGIS for Desktop的數據共享功能。ArcGIS中不提供相應的接口,如何實現程序后臺自動發布是個技術難點。通過查閱大量的技術文檔,發現可以通過執行Python腳本后臺發布。首先根據上次的 MXD文件自動生成數據發布的Python腳本,再調用ArcGIS進程執行Python腳本,腳本執行完畢地圖就自動發布成功。
3.4.4 地圖瀏覽模塊。全國耕地質量大數據平臺(應用版)采用Microsoft Visual Studio 2010開發環境,Windows Presen-tation Foundation(WPF)框架,ArcGIS Runtime of .NET環境進行開發,實現了全國地圖瀏覽查詢的功能。
4 平臺運行
4.1 行政領導
各級行政領導通過“全國耕地質量大數據平臺(應用版)”客戶端軟件(圖2)訪問瀏覽全國耕地質量大數據平臺中的數據?!叭珖刭|量大數據平臺(應用版)”分若干個專題地圖展示全國耕地質量數據,每一個專題地圖分20個等級的比例尺分別從國家、省市、地市、縣市到鄉鎮及以下進行展示。全國耕地質量大數據平臺已經生成14個專題圖:土地利用現狀圖、農用地地塊圖、土壤類型圖、行政區劃圖、耕地地力評價圖、水稻適宜性評價圖、小麥適宜性評價圖、施肥方案推薦圖、耕地地力調查點點位圖、耕地土壤有機質含量分布圖、耕地土壤pH值分布圖、耕地土壤全氮含量分布圖、耕地土壤有效磷含量分布圖、耕地土壤速效鉀含量分布圖。
4.2 專業技術人員
各級專業技術人員通過“全國耕地質量大數據平臺(管理版)”客戶端軟件(圖3)訪問瀏覽全國耕地質量大數據平臺中的數據,定期上報、制作、更新相關數據。
4.3 社會公眾
社會公眾通過手機短信、手機微信、手機客戶端、觸摸屏一體機、網頁瀏覽器等方式瀏覽、查詢全國耕地質量大數(上接第298頁)
據平臺發布的信息。
5 應用情況與展望
全國耕地質量大數據平臺一期工作已于2016年7月開發完成并投入運行,目前已有黑龍江、內蒙古、江蘇等?。▍^)100多個縣向全國耕地質量大數據平臺上報了耕地質量評價和測土配方施肥有關數據。通過“全國耕地質量大數據平臺(應用版)”軟件可以查詢耕地地力評價圖、土壤有機質含量分布圖、耕地土壤pH值分布圖、耕地土壤全氮含量分布圖、耕地土壤有效磷含量分布圖、耕地土壤速效鉀含量分布圖等專題地圖;通過“全國耕地質量大數據平臺(手機APP)”軟件可以查詢區域地塊的土壤理化性狀、立地條件、土壤養分、施肥方案等信息;通過手機微信、手機短信可以查詢這些區域具體地塊的耕地經營權、地力等級、施肥方案等信息。通過與蘇農集團、綠云科技等農企進行合作,全國耕地質量大數據平臺為農企提供數據訪問接口。全國耕地質量大數據平臺將成為耕地質量數據采集、存儲、管理、分析、應用的中樞,在我國耕地質量管理工作中發揮重要的作用。
6 參考文獻
[1] 宋偉,陳百明,史文嬌,等.2007年中國耕地資源安全評價[J].地理科學進展,2011(11):1449-1455.
[2] 馬述忠,葉宏亮,任婉婉.基于國內外耕地資源有效供給的中國糧食安全問題研究[J].農業經濟問題,2015(6):9-19.
[3] 傅澤強,蔡運龍,楊友孝,等.中國糧食安全與耕地資源變化的相關分析[J].自然資源學報,2001(4):313-319.
[4] 耕地質量調查監測與評價辦法[J].中華人民共和國農業部公報,2016(7):4-6.
[5] 杜宇能.加拿大農業土壤信息服務平臺評述及其對中國的啟示[J].世界農業,2012(1):20-23.
[6] 曾志遠.用土壤信息系統評價土地種植機動性的數學模型及應用[J].土壤學報,1993(3):312-323.
[7] 鄒鵬.基于WebGIS的新疆耕地資源數據庫的建設及其應用研究[D].烏魯木齊:新疆農業大學,2012.
[8] BRON.The development of soil information system[J].the Journal of soil science,1987(38):267-277.
[9] 王萬茂,黃賢金.中國大陸農地價格區劃和農地估價[J].自然資源,1997(4):3-10.
[10] 張甘霖,龔子同,駱國保,等.國家土壤信息系統的結構、內容與應用[J].地理科學,2001(5):401-406.
[11] 楊瑾.土地信息系統及其設計[D].西安:西北大學,2000.
[12] 滕飛.基于地理信息系統的土地規劃MIS系統[D].天津:天津大學,2006.
[13] 吳嘉平,胡義鐮,支俊俊,等.浙江省1∶5萬大比例尺土壤數據庫[J].土壤學報,2013(1):30-40.
[14] 吳順輝,甘海華,梁中龍,等.基于GIS的廣東省土壤資源信息系統構建研究[J].土壤與環境,2001(4):307-310.
[15] 周斌,楊柏林,汪紅強,等.貴州省土壤信息系統(GSIS)空間數據庫的設計與建立[J].地質地球化學,2000(1):68-71.
[16] XZ S,DS Y,ED W,et al.Soil database of 1∶1,000,000 digital soil survey and reference system of the chinese genetic soil classification system[J].Soil Survey Horizons,2004,4(45):129-136.
[17] 史學正,于東升,高鵬,等.中國土壤信息系統(SISChina)及其應用基礎研究[J].土壤,2007(3):329-333.
[18] 施建平,楊林章,潘賢章.中國土壤數據庫數據整合面臨的問題和解決方案[J].科研信息化技術與應用,2009(4):34-41.
[19] 張炳寧,張月平,張秀美,等.基本農田信息系統的建立及其應用:I.耕地地力等級體系研究[J].土壤學報,1999(4):510-521.
[20] 張月平,張炳寧,田有國,等.縣域耕地資源管理信息系統開發與應用[J].土壤通報,2013(6):1308-1313.