大數據服務深度需求與SOA協作集成的異構系統融合機制

朱 明，李躍新

(湖北大學 計算機與信息工程學院，武漢 430064)

大數據服務深度需求與SOA協作集成的異構系統融合機制

朱 明，李躍新

(湖北大學 計算機與信息工程學院，武漢 430064)

大數據服務需求的認知深度和服務架構的融合度直接影響多業務大數據應用的資源管理和服務質量，提出了一種基于大數據服務深度需求分析和面向服務的協作集成架構的異構系統融合機制；該機制，一方面，在分析大數據源多樣化、差異化大數據組織形式及其存儲方式，基于開放性大數據服務上下文，以及上下文集合的關聯匹配與大數據服務分析的映射關系，結合不同類型用戶的需求差異化特征，建立了大數據服務需求分析模型；另一方面，對于多態異構的移動互聯網大數據服務，經過結構化和開放性處理后，給出大數據通信和服務調用描述定義，提出了SOA協作集成的異構系統融合架構；仿真實驗結果表明，所提出的算法在大數據服務響應成功率、執行時間和代價比等方面具有明顯優勢。

大數據; 服務深度需求；面向服務的架構；協作集成；異構融合

0 引言

移動互聯網環境下，大數據服務需求的保障架構所考慮的服務框架[1]、系統設計[2]等難以滿足多應用并發深度需求。因此，如何設計軟件硬件集成系統[3]的異構體系成為熱點問題。于是，基于SaaS系統[4]、基于產品分類服務的大數據系統[5]和基于云平臺的大數據架構[6]得到深入研究。

大數據服務研究方面，文獻[7]研究了大數據環境下數據服務能力開放業務內容及其開放平臺的建設思路。文獻[8]提出了一種安全管理方案，用戶從不同的網絡環境中獲取大數據服務，并結合大數據和用戶的屬性信息，保護云環境中的大數據用戶的隱私和數據本身。通過引入時間變量，并且動態地分析敏感屬性和身份識別等信息，文獻[9]基于差分隱私保護機制研究了一種位置大數據發布模型?；谥黝}的相關性和大數據服務質量，結合用戶需求的連通性因素，文獻[10]提出了一種大數據用戶需求建模方法。SOA異構系統方面，文獻[11]分析了異構系統數據共享及其通信平臺。將云計算的虛擬化和分布式并行數據處理有機結合，文獻[12]基于SOA云架構的提出了一種用于海量異構資源高效管理的業務平臺。通過選擇最適當的網絡對給定的事務級業務建模，并約束其業務上下文和服務質量，文獻[13]基于系統服務集成解決了活躍狀態的應用業務驅動問題。文獻[14]整合了廣泛性應用企業架構框架SOA元素。

然而，上述研究對于大數據服務的上下文開放性問題未深入分析，同時基于SOA架構的異構系統的融合問題未做討論，因此，在已有研究基礎上，本文提出了一種大數據服務深度需求與SOA協作集成的異構系統融合機制。

1 大數據服務需求分析模型

數據來源多樣化導致數據組織形式和數據存儲方式存在較大差異，同時不同規模的數據和不同類型用戶的差異化要求使得數據服務需求分析面臨多方面挑戰。此外，異構大數據服務需求和大數據分析面臨如下幾方面問題：

1)面臨復雜的大數據組織結構和形式化數據信息映射，如何實現大數據的結構化管理和可視化大數據服務需求建模。

2)如何從高冗余度的大數據進行低耗傳輸和高效挖掘；

3)大數據來源于多樣化業務，要為多樣化用戶需求服務，兩者之間的關聯具有隨機性和不可預測性，因此如何調用大數據和按需分析成為關鍵。

針對上述問題，從大數據的結構化、可視化和微觀關聯映射出發，建立大數據服務需求分析模型。

為了實現非結構化大數據的形式化描述和服務需求的匹配關聯，給出開放性大數據服務上下文定義，如定義1所示。

定義1(開放性大數據服務上下文的表示)：

在開放性大數據資源中，將大數據服務上下文描述為一個三元組：obr=(OLocker, CT, CS)，其中，OLocker是開放性鎖定標識符，用于表示大數據是否具備開放性特征，是非結構化大數據形式化描述的依據；CT是大數據服務的上下文標識符，用于建立大數據服務與需求的映射；CS是大數據服務與上下文匹配標識符，用于反映關聯匹配水平。

假設大數據源bdi和上下文集合CTi，按照定義1給出了形式化大數據服務匹配率計算模型，如公式(1)所示。

(1)

其中，Mr表示大數據服務匹配率，函數Context用于獲取大數據服務的上下文集合，CST表示關聯匹配閾值。

在大數據形式化后，基于關聯匹配的大數據上下文，大數據服務需求分析過程可表示為：R={Mi,Ci,Rq,MR}。其中，Mi表示服務需求關聯匹配的大數據集合，Ci表示多個關聯匹配大數據集合的上下文集合，Rq表示大數據服務分析結果，MR表示服務需求匹配后的大數據集合。

大數據服務需求分析過程R中，當大數據規模和匹配閾值固定時，大數據服務需求分析的準確率Si如公式(2)，此時所產生的大數據冗余規模BDR如公式(3)所示。大數據服務需求分析結構如圖1所示，分析算法如算法1所示。

(2)

(3)

每個大數據服務分析結果在多維數據空間上的動態關聯映射的延遲dc如公式(4)，更新延遲uc如公式(5)。

(4)

圖1 大數據服務需求分析架構

首先計算大數據源對應的開放性上下文，再將每一個上下文集合的關聯匹配與大數據服務分析的映射關系進行比對，根據匹配度得出大數據服務分析結果，具體算法描述如算法1 ReqAna Algorithm所述。

算法1：ReqAna Algorithm 大數據服務需求分析算法

Input: Mr, CSi, BD.

Initialization: R, obr

Output: Rq

1)CST=0;

2)while(BD)

3)tp=BDi;

4)CTi=Context(tp);

5)BDi+1=CTi⊙tp;

6)CST=‖CTi‖·CS;

7)end while

8)tm=‖MR‖;

11)Si=1-CS(tq)tm;

12)Rq=R∩obr·Si;

13)return Rq;

14)end

2 SOA協作集成的異構系統融合機制

當大數據服務需求分析精度滿足封閉性和開放性特性時，需要根據特定應用需求構建分布式異構系統。然而，異構系統和多態移動互聯網運行環境對分布式異構系統的架構和大數據映射關系提出了新的挑戰。傳統服務模型的映射矩陣和控制代碼是固定的，難以適應多態移動互聯網的實時性組合和裝配要求，同時難以解決大數據深度服務建模與融合問題。

因此，基于SOA協作與大數據服務分析模型有機融合，結合移動互聯網，以提高大數據服務需求分析與規劃下異構系統的控制與管理為目標，通過大數據服務需求分析模型整合大數據資源，引入異構系統融合機制，分布式系統的大數據服務按需融合，構建實時可靠的系統模型，從而快速構建大數據服務應用以滿足多樣化用戶的異構需求。

對于多態異構的移動互聯網的大數據服務，經過結構化和開放性處理后，給出大數據通信和服務調用描述定義。這些描述可以很好地發現和綁定大數據服務的動態需求和滿足SOA協作運行時的資源需求。SOA協作集成的異構系統使用了下面的元素對大數據服務進行描述：

(1)Scale：大數據規模標識，適用于開放性服務系統。

(2)BigData_Call：大數據調用請求消息幀結構封閉化定義。其中，BigData由一系列大數據節點組成，每個節點分配額唯一的Scale，通過Call今晨而過形成大數據調用消息集合。

(3)SOA_Call：大數據服務需求分析結果的抽象描述和對BigData_Call的響應。每個SOA元素對應一個Call映射的大數據資源管理數據幀序列。

(4)SOA_Type：對于每個SOA協作大數據通信點，設定專屬類型的服務操作符。該服務操作符集合指定了一系列大數據服務保障類型。該保障包括：大數據存儲幀格式、大數據通信模式和大數據服務幀格式。

(5)Coo_Integrate：SOA協作集成所需的控制協議和集成方案。該描述給出了SOA_Type與BigData_Call、SOA_Call的映射接口和協作控制協議。該映射接口通過大數據服務消息幀與服務描述的線性綁定，實現大數據和SOA的集成調用。

(6)fusion_Ctonrol：大數據服務SOA協作集成控制協議，該協議在SOA協作架構下控制封閉型大數據源和移動互聯網平臺的異構融合。該融合控制描述了異構融合與大數據服務需求的映射關聯進程。該關聯進程的功能有移動互聯網大數據服務地址轉換、大數據服務需求映射地址尋址和融合消息數據幀控制等。

(7)fusion_R_S：異構系統融合大數據服務需求與響應標識。該標識描述了在移動互聯網平臺上部署大數據服務所需要的各類控制請求、響應和服務幀。在SOA協作集成的異構系統融合進程中，每個大數據服務需求通過一個請求和服務序列對實現大數據服務保障。

在異構融合系統中，單個大數據服務需求分析與服務仿真忽視了大數據內在關聯和線性關系，需要結合移動互聯網的多態特征，以SOA為核心，對大數據服務進行深度需求分析。在SOA協作中，大數據實體需求分析模型必須適應移動互聯網的多態行為，實現深度需求分析。這種深度分析主要表現為不同狀態的需求分析建模和不同規模的大數據源建模。上述模型可以深度獲取多態下大數據實體描述標識。大數據服務深度需求的多態標識與SOA協作集成系統之間實時交互融合信息。因此，為了獲取更為實時可靠的大數據服務需求和保障移動互聯網應用，多態下大數據服務深度需求尤為重要，如圖2所示。圖2中，n表示關聯映射后的深度需求序列個數，k表示圓形窗口滑動次數。SOA協作集成的異構融合系統架構如圖3所示。

大數據服務深度需求之間存在一定的相似度，根據開放性大數據服務上下文和SOA協作控制，根據公式(6)計算相似度。

(6)

其中：函數SOA用于獲得SOA協作控制的大數據集合。

在SOA協作集成的異構融合過程中，根據大數據服務需求深度分析的序列和多態條件約束，結合移動互聯網平臺不同要求的泛在目標優化，基于SOA與多態大數據服務行為的集成，給出泛在目標優化函數的求解公式(7)和(8)。其中，公式(8)所述的多態約束條件是實現公式(7)所示的優化函數的前提。

(7)

(8)

圖2 多態下大數據服務深度需求描述

圖3 SOA協作集成的異構融合系統架構

3 實驗結果分析

在一個由Matlab與C語言組成的，具有通用性和兼容性的模擬仿真實驗平臺上，對若干個傳感器組成的大數據源的服務進行異構系統融合性能分析與評價。這些傳感器部署在800米*800米的室外空曠場地，執行高密度環境監測任務。設定大數據服務需求包括單個任務執行、單個任務完成復雜度、多個任務并行執行控制復雜度和多個任務并行執行資源消耗等方面。單個任務執行服務用于滿足單一環境監測大數據的實時傳輸服務，屬于高優先級大數據服務需求。單個任務完成復雜度用于分析通用環境監測應用中大數據服務深度需求的保障性能及其時間復雜度和空間復雜度。此外，多個任務并行執行控制復雜度用于分析SOA協作集成的異構系統的大數據融合效率和復雜度。該服務需求既考慮了大數據服務深度需求的保障復雜度又考慮了異構系統的集成度和執行力。多個任務并行執行資源消耗用于評價SOA協作集成的異構系統與大數據服務需求分析的資源消耗情況和大數據多任務并行執行的保障能力。在上述實驗平臺上，進行本文所提大數據服務深度需求與SOA協作集成的異構系統融合機制記為HDF-CIBDR與文獻[15]的算法在不同規模傳感器和并發大數據服務下的算法執行性能進行對比分析，實驗參數詳見表1。

表1 實驗設置情況

實驗所采集的大數據源具有隨機性，分別在單任務、多任務并行大數據服務情況下執行兩種算法，結果如圖4～6所示。其中，圖4給出了兩種算法在不同規模傳感器下的大數據服務成功響應率。該響應率是通過采集服務器端正確響應的大數據服務需求數與傳感器端發出的大數據服務請求數比。分析圖4發現，對于多樣化的數據來源、復雜的數據組織和存儲方式，HDF-CIBDR可以有效地分析不同規模的傳感器數據和大數據服務不同類型請求的差異化，并充分發揮開放性大數據服務上下文的優勢，準確做出大數據服務需求響應，所以可以解決文獻[15]算法的響應失誤率高的問題。

因為本文所提出的HDF-CIBDR通過將基于SOA協作與大數據服務需求深度分析有機融合，考慮異構系統的控制與管理復雜度，高效整合大數據服務深度需求和滿足服務所需資源分配，發揮分布式系統的實時可靠特性，算法執行代價比明顯低于文獻[15]算法(詳見圖5)。在不同規模傳感器和并發服務數情況下，HDF-CIBDR均可以快速獲取大數據服務應用需求并規劃資源分配(詳見圖6和7)。此處，代價比是指兩種算法執行資源消耗占整個大數據應用執行所耗資源的比例；執行時間是通過統計平均滿足1個大數據服務需求，算法所需執行時間。

圖4 大數據服務成功響應率

圖5 代價比

圖6 執行時間

圖7 執行時間

4 結束語

為了改善多業務大數據應用的資源管理效率和服務質量能力，基于大數據服務需求的認知深度和服務架構的融合度直接影響，本文提出了一種大數據服務深度需求分析和面向服務的協作集成架構的異構系統融合機制。首先，深入分析大數據源、大數據組織形式及其存儲方案，設計了大數據服務需求分析架構及其算法。其次，針對多態異構的移動互聯網大數據應用，結合SOA協作集成的異構系統的大數據服務調用描述，建立了SOA協作集成的異構系統融合架構。仿真實驗從數據服務響應成功率、執行時間和代價比等方面對比分析了所提出算法與文獻[15]調度算法。實驗結果表明，所提出的算法在各方面表現更佳。

[1] 邢少敏, 周伯生. SOA研究進展[J]. 計算機科學, 2008, 35(9):13-20.

[2] 李牧南, 熊俊霞, 許 治,等. TRIZ技術系統演進視角的計算機輔助創新軟件體系架構[J]. 計算機集成制造系統, 2013, 19(2): 309-318.

[3] 劉云峰, 李 麗, 王素美,等. 面向大數據的數據服務中心設計與應用研究[J]. 通信學報, 2013,2(s2): 170-174.

[4] 張秀偉, 何克清, 王 健,等. 一種基于體系特性的SaaS系統評估框架[J]. 電信科學, 2013, 29(12): 92-100.

[5] P??kk?nen P, Pakkala D. Reference Architecture and Classification of Technologies, Products and Services for Big Data Systems[J]. Big Data Research, 2015, 2(4): 166-186.

[6] Lillocastellano J M, Morajimenez I, Santiagomozos R, et al. Symmetrical Compression Distance for Arrhythmia Discrimination in Cloud-based Big Data Services.[J]. IEEE Journal of Biomedical & Health Informatics, 2015, 19(4): 1253-1263.

[7] 劉 春, 鄒海鋒, 向 勇. 大數據環境下電信數據服務能力開放研究[J]. 電信科學, 2014, 30(3): 156-161.

[8] Jeong Y S, Shin S S. An Efficient Authentication Scheme to Protect User Privacy in Seamless Big Data Services[J]. Wireless Personal Communications, 2016, 86(1): 7-19.

[9] 張 琳, 劉 彥, 王汝傳. 位置大數據服務中基于差分隱私的數據發布技術[J]. 通信學報, 2016, 37(9): 46-54.

[10] Sun J, Xu W, Ma J, et al. Leverage RAF to find domain experts on research social network services: A big data analytics methodology with MapReduce framework[J]. International Journal of Production Economics, 2015, 165:185-193.

[11] 郭志強. 云計算環境下異構系統數據通信分析與設計[J]. 信息安全與技術, 2016, 7(2): 60-64.

[12] 張瀟元, 劉利人, 韓海雯. 基于SOA云架構的電子監察業務平臺的設計與構建[J]. 計算機科學, 2014, 41(s2): 473-477.

[13] Souza A P D, Rabelo R J. A Dynamic Services Discovery Model for Better Leveraging BPM and SOA Integration[J]. International Journal of Information Systems in the Service Sector, 2015, 7(1):1-21.

[14] Alwadain A, Fielt E, Korthaus A, et al. A Comparative Analysis of the Integration of SOA Elements in Widely-Used Enterprise Architecture Frameworks[J]. International Journal of Intelligent Information Technologies, 2015, 9(2): 54-70.

[15] Van d S N, Spence C, Nijboer T C, et al. On the relative contributions of multisensory integration and crossmodal exogenous spatial attention to multisensory response enhancement.[J]. Acta Psychologica, 2015, 16(2): 20-28.

Heterogeneous Fusion Mechanism With SOA Collaboration Integration Based on Big Data Service Deep Requirements

Zhu Ming，Li Yuexin

(School of Computer Science & Information Engineering, Hubei University, Wuhan 430064, China)

The cognitive depth of big data service demand and Integration of service architecture would affect the resource management and service quality of big data application, the heterogeneous fusion mechanism with SOA collaboration integration based on big data service deep requirements was proposed in this paper. On the one hand, based on the analysis of big data source diversification, differentiation of big data organization and storage methods, open big data service context and the mapping relation between contexts set associative matching and big data service analysis, the demand analysis model of big data service is established according to the different needs of different types of users. On the other hand, for the mobile Internet Heterogeneous data services association, through structured and open treatment, given the big data communication and service description definition, a SOA collaborative heterogeneous system integration architecture was proposed. The simulation results show that the proposed algorithm has obvious advantages in terms of the success rate, execution time and cost ratio of large data services.

big data; service deep requirements; service-oriented Architecture; collaboration integration; heterogeneous fusion

2016-12-27；

2017-02-06。

湖北省重大科技支持項目(2014BAA089)。

朱 明(1978-),男, 湖北武漢人，講師，碩士，主要從事計算機應用技術方向的研究。

李躍新(1958-)，男，湖北武漢人，教授，博士，主要從事人工智能與知識工程、智能控制系統、嵌入式技術方向的研究。

1671-4598(2017)07-0165-05

10.16526/j.cnki.11-4762/tp.2017.07.041

TP393

A