面向云計算并發訪問的計算機大數據調度負載均衡方法

王艷兵

(徽商職業學院 電子信息系,安徽 合肥 230000)

隨著信息技術和網絡技術飛速發展,計算機儲存的數據種類及數量日益增多。由于網絡規模不斷擴大,將會有海量數據向計算機服務中心轉移,從而導致數據中心能耗不斷增大,運營商運行費用不斷上升。計算機中心聚集了大量計算設備和平臺,但由于無法合理地配置和利用這些資源,引起計算機服務中心能源消耗增大,從而導致了資源浪費和服務費用持續增長。文獻[1]提出了一種基于神經網絡的應用分析方法,該方法根據分塊規模、分支執行步驟,使用針對神經網絡規?；膽梅椒?結合Winograd算法,實現對計算機數據存儲的進一步優化;文獻[2]提出了模擬退火法的應用分析方法,該方法通過開放排隊網絡對移動業務流時延進行優化建模,使用模擬退火求解模型,并在不同服務請求量和虛擬網絡結構之間建立邏輯關聯,實現對計算機虛擬網絡功能部署。然而,這兩種方法容易受到計算機存儲內存影響,導致遠程計算機無法根據目標需求發送計算機所需內容,也無法實現計算機數據有效反饋。針對該問題,本文提出了面向云計算并發訪問的計算機大數據調度負載均衡方法。

1 計算機大數據云計算并發訪問控制

1.1 基于正負理想解的大數據全面訪問

在云計算環境中,多個用戶同時訪問和處理大數據是常見的情況,容易出現數據丟失導致數據訪問不全面的問題。大數據全面訪問機制可以通過正負理想解的大數據全面訪問機制,將不同用戶或應用程序的數據隔離開來,防止不同用戶之間的數據沖突和干擾,確保數據的安全性和完整性。正負理想解關系如

圖1所示?？紤]到負理想解的關鍵參考作用,計算備選項與正理想解距離公式為

ε取值不同,可以反映決策者對指標偏離程度。當ε=1時,強調云計算部署方案整體效用最大化;當ε→∞時,強調云計算部署方案整體懲罰最大化。通過云計算部署方案的正負理想解大數據全面訪問機制,可保證訪問數據的全面性。

1.2 訪問控制身份認證機制設計

在保證訪問數據全面性的同時,為了保證數據的安全性和隱私保護,需要對訪問身份進行驗證,確保只有經過身份認證的用戶才能訪問數據,并且按照其權限進行合法的訪問操作。訪問控制機制利用預先定義的存取控制策略,對數據需求進行約束,使授權的合法使用者能夠存取數據,而不能存取未獲許可的數據。適當的訪問控制機制,可以有效地限制使用者的存取權限,保證信息安全。利用云計算技術進行數據支持,將會給用戶帶來更好的數據處理體驗效果。

訪問控制身份認證機制主要包括密碼、一次性令牌、條件屬性驗證,驗證請求用戶是否合法。當客戶機以ID及口令登錄時,若口令是有效的,則會產生一次令牌,將該令牌直接傳送到客戶端,結合一次性令牌提高云計算中客戶認證效率。訪問控制身份認證機制采用一次性令牌對客戶端進行身份認證,而口令則是為了防止賬戶被非法訪問而用來保護用戶賬戶安全的密碼。無論何時客戶機登錄,訪問控制身份認證機制都會提供一種新的可使用標記。一次性令牌由系統自行根據下列公式自動產生,ID→OT,OT={p}。式中,OT表示一次性令牌,p表示素數。當客戶端登錄時,這個方法就會提供一個新的可用標簽。這種一次性標記是通過系統按照

自動產生的。式中,X1、X2、X3分別表示計算機大數據密碼、一次性令牌、條件屬性。如果多階段身份被認證,那么說明控制請求是有效性,具有一定可信性。反之,則不可信,無法通過訪問控制身份認證。

2 計算機大數據多批處理調度

對計算機大數據云計算并發訪問進行控制,可以提高數據訪問的全面性和安全性,但是計算機大數據中的數據量過大和計算任務過多會造成計算機負載失衡,進而導致計算機系統性能降低,給計算中心帶來更多能源消耗。因此,通過對計算機進行多批調度處理,在保證訪問安全的條件下,可降低調度能耗,提高計算機的系統性能。

2.1 制定計算機大數據多批處理分級方案

利用MapReduce迭代法對基于云計算的多批次數據進行排序,每一個映射任務都會從HDFS上裝載數據,而Reduce任務則會向HDFS發送一次迭代中間結果。在下一個循環中,同樣裝載和傳送程序也會重復[3-4]。為防止因數據量過大和計算任務過多造成計算機負載失衡,將數據多批處理任務分配到固定節點上。因此,構建基于云計算的任務調度模型(圖2)。

圖2 基于云計算的調度模型

由于云計算具有大量計算機集群[5-7],這些集群的結構復雜且異構,所以通過負載均衡處理,使各個計算機集群均衡地分配數據和計算任務,降低計算機集群的能耗,讓網絡資源得到更加平衡和充分的利用,避免某些計算機過載而導致系統性能下降,或某些計算機空閑而浪費網絡資源。在服務端收到批量數據后,通過評估其價值函數,計算出任務收益,從而判定是否接受[8]。服務方接收任務時的增益

式中,r表示任務接收后所帶來的收益,t0、t1、tmax分別表示延遲時間、任務持續時間和任務完成時間,δ表示收益變化值[9]。由于計算機處理大數據時,面對的是多批處理任務,所以該情況下的服務方接收任務增益可表示為

式中,α、β分別表示收益和未收益成本比例,tB表示任務B持續時間,z表示任務B執行成本。將相同收益計算機大數據調度任務歸一處理,通過數據分級調度策略達到多批大數據處理最大化收益目的[10]。

2.2 大數據多批處理調度方案的實現

在云計算環境下,用戶提交的任務調度為待執行B任務,將調度分配到適當計算資源節點,以滿足用戶要求。調度分為兩個階段:第一階段的調度是根據用戶運行時間來安排任務到虛擬機[11];第二級段調度是根據任務特性和負載狀況,對虛擬機進行合理分配,以保證系統資源負載平衡,同時降低系統整體功耗[12]。為了快速完成任務,需要大量的運算節點,這導致計算中心的能耗和運營商的成本上升。為了使任務能在最短時間內完成,必須調動更多計算節點,這就給計算中心帶來更多能源消耗[13]。為了在低成本、短時間內調度多批大數據,構建了任務執行時間和能耗雙重優化函數

式中,Tt(a,b)表示任務從節點a到節點b預計完成的時間,j表示任務完成輪次。

任務調度能耗成本為

式中,C1(j)、C2(j)、C3(j)分別表示單位時間計算、傳輸和存儲所消耗的能量。云環境中,當任務分配時,適應性高的個體會被更多地遺傳到下一代,而適應性低的個體會在每次的競爭中被淘汰[14]。

采用雙目標優化方法,以減少任務完成時間,降低計算服務中心能量消耗。構建基于時間-能耗雙重任務調度的適應度函數

H(I)=ω時間h時間(I)+ω能耗h能耗(I)。

式中,ω時間、h時間(I)分別表示時間權重和適應度函數,ω能耗、h能耗(I)分別表示能耗權重和適應度函數[15]。假設計算機大數據從節點a到節點b的最短傳輸路徑為d,那么數據傳輸路徑迭代函數可表示為

dm(b)=dm-1(a)+ω′(a,b)。

式中,m表示迭代次數,ω′(a,b)表示節點a到節點b的權值。充分考慮收益要素,通過計算獲取調度任務和計算機空閑狀態下相匹配的動態調度方案,公式為

T(B,G)=u(B)-t(B,G)+ωBv(B,G)。

式中,u(B)表示任務執行優先等級,t(B,G)表示計算機空閑狀態G下任務執行初始時間,ωB表示任務權重,v(B,G)表示任務處理速度,通過該式實現對計算機大數據多批處理調度,降低調度能耗,提高計算機的系統性能。

3 方法測試

為了檢驗面向云計算并發訪問的計算機大數據調度負載均衡方法合理性,采用某企業的云計算管理系統平臺進行測試。云計算管理系統平臺如圖3所示。根據圖3的云計算管理系統平臺,基于網絡流量數據集,從任務調度和數據訪問兩方面對計算機的能耗調度、資源利用率和總隱私權重展開測試,其結構如圖4所示。

圖3 云計算管理系統平臺

圖4 CloudSim分層結構

計算機相關配置及負載參數如表1所示。

表1 計算機相關配置及負載參數

3.1 訪問測試

圖5 三種方法總隱私權重對比分析

3.2 調度測試

CloudSim提供了專門的虛擬機、內存、帶寬等接口,可以模擬虛擬環境中云計算技術,并能在這種環境中進行多批次數據調度。計算機運行時間和能耗是調度的關鍵因素,以調度能耗為例,使用神經網絡法、模擬退火法和本研究方法對比分析能耗調度情況,對比結果如圖6所示。

圖6 三種方法能耗調度結果對比分析

由圖6可知,使用神經網絡法、模擬退火法能耗調度結果與理想結果相差較大,無法全部擬合在同一條曲線上,由此說明使用傳統兩種方法擬合效果較差,即能耗調度結果不理想;使用本研究方法能耗調度結果與理想結果接近,大部分數據擬合在同一條曲線上,由此說明使用本研究方法擬合效果較好,即能耗調度結果理想。

以調度時間為例,使用神經網絡法、模擬退火法和本研究方法對比分析能耗調度情況,對比結果如圖7所示。由圖7可知,本研究方法在進行負載均衡調度時,網絡資源利用率高于神經網絡法和模擬退火法,說明使用本研究方法可以提高網絡資源的利用率,負載均衡性能良好,能夠達到最佳均衡狀態。

圖7 三種方法負載均衡調度結果對比分析

4 結束語

為了解決計算機大數據調度能耗高、訪問不安全的問題,提出了一種面向云計算并發訪問的計算機大數據調度負載均衡方法:給出了一種基于多級身份驗證的云計算隱私保護算法,采用口令、一次性標識、條件屬性等多種方式進行身份驗證,以防止在計算復雜度較低情況下進行非法訪問,從而提高了云數據隱私權保護。通過對多批數據的排序處理,保證了在以后數據調度中仍然能夠很好實現負載平衡,防止了因負載不平衡而造成業務崩潰。