人工智能在安全領域的應用

張濱

（中國移動通信集團公司信息安全管理與運行中心，北京 100053）

當前，全球科技革命和產業革命方興未艾，新技術行業融合創新不斷，在移動互聯網、大數據、云計算、物聯網等新理論新技術以及社會發展相關的強烈需求的共同驅動下，人工智能(Artificial Intelligence，AI）加速發展，逐漸成為了產業革命和行業融合的關鍵技術。人工智能可以通過對數據的采集、分析和挖掘，形成有價值的信息和知識模型，實現對人類智能行為的模擬，具備一定環境下的自適應特性和學習能力。人工智能的要素一般包括數據、模型、運算力、應用場景幾個方面?；谝陨蠋追N要素的不斷發展進步，逐漸演化并形成了若干人工智能關鍵技術，包括機器學習、知識圖譜、自然語言處理、計算機視覺、生物特征識別等。

隨著人工智能相關學科的發展，理論建模、技術創新、軟硬件發展等整體推進，各類人工智能應用能夠大幅度提升智能制造水平、社會智能水平，推動我國制造強國和網絡強國建設，推動社會各領域從數字化、網絡化向智能化加速躍升，從而深刻改變甚至顛覆現有人類社會的生產生活方式。

然而，人工智能的發展和應用給信息安全領域帶來了希望和挑戰。一方面人工智能在信息安全領域的應用能夠顯著提升安全防護能力，另一方面人工智能自身也存在著數據安全、對抗欺騙、隱私保護、數據爆炸、動態環境適應和數據的可靠性等方面的安全問題。與此同時，人工智能技術、平臺等也存在安全風險，會嚴重影響人工智能在各個應用領域的健康發展。本文分析了當前信息安全領域對人工智能的需求以及相關應用場景，分析了人工智能面臨的安全挑戰，提出了人工智能安全應用及安全防護建議，旨在推動信息通信及網絡信息安全行業對人工智能帶來的安全挑戰達成充分認識，促進人工智能在行業的安全、可靠、可控發展。

1 安全領域的應用需求

1.1 網絡安全方面

應用人工智能可以從海量網絡數據、多樣的安全攻擊手段中快速檢測出網絡攻擊并能依據網絡環境變化進行自適應安全防御，人工智能在網絡安全領域的優勢主要包括大幅提升安全監測的精準度。網絡流量規模巨大，安全設備及系統產生大量日志等重要安全信息，應用人工智能技術可以解決大規模數據處理分析、精準識別網絡攻擊、減少安全誤報等安全挑戰。及時發現復雜的攻擊行為。復雜的網絡攻擊中，攻擊者往往會采用各種逃避手段，將常見的攻擊報文偽裝成正常報文，避免被安全設備發現?；谌斯ぶ悄芗夹g，結合應用場景能夠識別異常的網絡通信，發現復雜的網絡攻擊行為。人工智能在網絡安全方面有如下應用。

（1）網絡入侵檢測。收集網絡流量樣本、安全日志、系統日志等重要數據，可以利用貝葉斯方法、神經網絡、決策樹等人工智能技術，實時檢測溢出攻擊、Web攻擊、木馬、蠕蟲等多種網絡攻擊行為，解決常見基于規則匹配的入侵檢測方法存在的誤報多、準確率低的問題，大幅提升網絡入侵檢測準確率與可用性。

（2）網絡安全態勢感知。收集安全領域不同設備產生的結構不一，而又相互關聯的安全數據，利用人工智能常見算法進行關聯、分析，能夠評估網絡設備運行狀況、網絡行為以及用戶行為等因素所構成的整個網絡的當前狀態和變化趨勢，實時地感知和預判網絡基礎設施面臨的威脅，達到動態監測以及指導決策的目標。

（3）惡意代碼檢測。傳統惡意代碼檢測通常采用各種代碼匹配的方式進行，而惡意代碼傳播過程中會通過各種變形來躲避查殺，導致檢測中的誤報和漏報問題。另外，惡意代碼監測要獲得惡意代碼樣本后進行人工分析、提取特征，然后才能進行檢測、查殺，整個過程對人員安全技術水平要求極高且具有明顯的滯后性。使用AI技術進行惡意代碼檢測，特別是將二進制文件以灰度圖像的形式表示，可利用圖像中的紋理特征對惡意代碼進行聚類。通過分析惡意代碼圖像、惡意文件頭個數等信息，使用決策樹、隨機森林等AI算法能夠準確發現惡意代碼。

1.2 業務安全方面

當前，針對業務的攻擊方式已日趨智能化，并不斷衍生出各種各樣的灰色攻擊方式，常見的包括惡意秒殺、惡意刷信用、薅羊毛攻擊等，采用人工智能技術能夠有效降低業務安全風險：及時發現業務濫用。應用人工智能技術對用戶正常行為模式建立業務模型，識別常見的業務攻擊類型，形成業務防護手段。開展用戶畫像?；谟脩粼谛袨?、習慣、喜好、社交等多方面特征，能夠對用戶進行畫像，并對用戶進行分類，有助于識別正常用戶、受控惡意用戶等，從而實現基于用戶分類進行業務管控。人工智能在業務安全方面有如下應用。

（1）灰黑產行為識別?；谫~戶、設備、網絡環境、操作、行為、用戶計費信息等數據，使用常見監督式等人工智能技術開展用戶業務使用行為分析，可以發現常見的灰黑產的業務攻擊情況，如通過批量注冊用戶實施各類薅羊毛行為。

（2）業務風控。隨著業務日益復雜化、多樣化，面對大規模的業務數據，服務提供商針對每一項業務進行業務風控面臨著極大挑戰?；谟脩粜袨?、習慣、喜好、社交等數據，使用人工智能技術為用戶進行智能畫像將用戶進行分類，同時，不同行業、不同應用場景可以共享、優化用戶分類信息，達到復雜數據下進行自動建模與分析，建立精準的用戶評估與業務風控體系。

1.3 信息安全方面

在信息安全領域，常常需要開展自然語言處理、圖像識別等工作，人工智能在這些領域具有成熟的算法、成熟的應用：多媒體識別能力?；谌斯ぶ悄芗夹g的文本、圖片、音頻、視頻等內容識別算法已經在眾多行業擁有成熟的應用，識別準確率、效率等遠高于傳統技術。自動模型訓練?；跇颖緮祿?，應用人工智能技術能自動生成判定規則/模型，可以進行病毒樣本、惡意URL、釣魚網站等領域的分析。人工智能在不良信息管控方面有如下應用。

（1）多媒體內容識別。采用基于人工智能技術來識別暴恐音視頻、情色圖片識別等多媒體內容，同時輔助人工審核的方式能夠完美解決內容安全問題。在多媒體內容機器識別領域，一般采用深度學習技術不斷地訓練海量的數據，抽取目標特征，最后達到識別特定目標的目的?；谌斯ぶ悄艿亩嗝襟w識別技術可應用在不良網站識別、騷擾電話識別、垃圾短/彩信識別等領域。

（2）惡意網站識別。一方面，可以應用人工智能技術對網絡流量歷史數據進行分析與識別，建立正常通信模型，基于模型識別非正常的網絡訪問；另一方面，可以利用遞歸神經網絡模型來檢測訪問的URL，同時使用向量編碼、分詞序列等技術來解析URL，從而識別釣魚網站URL。

2 人工智能安全應用實踐

2.1 網絡安全應用

（1）在惡意URL識別方面。針對現網中冒充10086、銀行的釣魚網站，以及包含病毒、惡意軟件的網頁鏈接等惡意URL鏈接，可利用人工智能分析技術、內容分析來自動化分析URL及網頁內容；同時，面對已確認的惡意URL，通過關聯分析，溯源黑產，進一步挖掘惡意URL鏈接。目前通過人工智能分析，每天挖掘出仿冒建行、工行、農行、郵儲等各行業的潛在釣魚網站超過2 100個，提升了20%的查全率，基于域名注冊信息的聚類分析方法可推廣使用，通過識別惡意網頁鏈接，能夠避免用戶訪問，從而避免經濟損失。

（2）在網絡安全監控與態勢感知方面。實時監控中國移動現網中網絡設備和安全設備的狀態，利用人工智能技術，對受攻擊情況、攻擊來源以及易受到攻擊服務進行建模分析，實現攻擊的主動發現、精準檢測和自適應防護。主要包括僵尸網絡主控C&C端主動發現、入侵攻擊精準檢測、自適應攻擊防護等具體應用領域。能夠提前主動發現超過30%的攻擊手段并進行主動防御，同時能夠提升攻擊檢測精準度。

2.2 業務安全應用

（1）在物聯網卡監控應用方面。針對中國移動物聯網卡在發放、售賣、使用過程中出現的濫用、DDoS攻擊、發布違規信息等問題，基于人工智能的物聯網卡監控利用位置數據、日志數據、賬單數據等進行管理風險、業務風險、內容風險分析，對涉嫌違規物聯網卡進行分級管控，對物聯網卡安全進行指標預警等。能夠提高物聯網卡識別準確率到90%以上，相關外部投訴比例同比下降50%。

（2） 灰黑產行為識別應用方面。中國移動的流量、話費促銷活動，常常被非法的“黑卡用戶”批量獲取，并將搶獲的獎勵在淘寶等平臺銷售牟利，而普通用戶則無法獲取相應的獎勵。針對以上灰產場景，從用戶的業務日志、上網日志、計費信息等多個渠道對用戶數據進行分析，達到準確找出“黑卡用戶”并對其進行封殺的目的。利用人工智能分析技術，黑卡用戶的查找準確率達到99%，促銷信息被普通用戶獲取的比例達到90%以上。

（3）業務風險防控方面。針對互聯網業務中的各類業務風險，如登錄注冊環節的掃號拖庫撞庫、垃圾注冊、短信轟炸、賬號盜用獲取利益等。通過結合大數據實時計算與深度學習技術，進行風險事前預警、事中攔截、風控數據的事后溯源與黑產團伙分析，從而做到風險事件的全鏈路管控。人工智能技術的引入可實現業務風險的自動化識別，減少企業的損失。

2.3 信息安全應用

（1）通信信息詐騙治理方面。中國移動開展了基于“場景式/劇情式”的電信欺詐聯動分析治理，通過各類詐騙場景及號碼行為分析，研究形成針對多種詐騙場景的分析模型，進而挖掘識別疑似詐騙事件。目前已建設并持續完善“國際攔截、網間聯動+封堵、網內嚴打”的詐騙電話防控體系，僅國際詐騙電話月均攔截量達906萬余次，網間虛假主叫攔截量達3 600余萬次。

（2）垃圾短信治理方面。中國移動采用指紋識別技術開展垃圾短信自動識別，使用人工智能文本分類等技術，自動識別廣告推廣類、色情類等文本信息，以解決現有文本類垃圾變形多、更新快、擴散廣的問題。目前，采用文本機器學習和自動化識別技術縮短了識別垃圾短信的耗時，月均減少垃圾短信發送量約8 500萬條。

（3）騷擾詐騙電話語音自動識別方面。開展了基于語音自動分析的騷擾詐騙電話識別，使用相似音頻模糊識別技術，對疑似騷擾詐騙通話進行自動化分析，實施攔截騷擾詐騙電話。將語音自動識別技術應用到騷擾詐騙電話中，能夠提升騷擾詐騙電話識別及攔截能力，間接減少用戶的經濟損失。

3 人工智能安全風險分析

人工智能風險分析如圖1所示，由系統層、算法層及應用層構成。系統層包括數據平臺、云平臺、存儲硬件、存儲數據等基礎設施以及深度學習框架Tensorflow、Caffe、Mxnet等；人工智能算法能力層包括語音識別、圖像識別故障異常檢測等算法能力，深度學習、強化學習、多任務學習等深度學習算法；最上層為人工智能應用層，主要包括人工智能的典型應用，如機器人、無人機、智慧家庭、精準營銷以及之前提到的人工智能安全應用實踐中的應用等。

圖1 人工智能風險分析圖

3.1 系統安全風險

人工智能應用與算法本身運行在通用的各種IT系統之上，因此系統安全是人工智能安全的基礎。在底層系統存在安全隱患的情況下，一旦被攻陷上層人工智能應用的安全會受到極大影響。系統安全風險包括基礎安全風險與框架安全風險。

基礎安全風險包括基礎設施安全風險、物理/硬件安全風險、數據安全風險、云平臺漏洞以及大數據平臺漏洞等?？蚣馨踩L險包括軟件漏洞、軟件權限被控制以及端口與服務安全風險。

目前大部分AI系統是在深度學習框架基礎上實現，主流的深度學習系統框架非常多，包括TensorFlow、Torch以及Caffe等。深度學習框架的使用可以讓應用開發人員無需關心神經元網絡分層以及培訓分類的實現細節，更多關注應用本身的業務邏輯。開發人員可以在框架上直接構建自己的神經元網絡模型，并利用框架提供的接口對模型進行訓練。深度學習框架掩蓋了它所使用的組件依賴，同時也隱藏了系統的復雜程度。每種深度學習框架又都是實現在眾多基礎庫和組件之上，很多深度學習框架里還包括圖像處理、矩陣計算、數據處理、GPU加速等功能。

3.2 算法安全風險

人工智能算法能力層包括深度學習、強化學習等多種算法以及基于以上算法形成的語音、圖像等識別能力，該層面臨的安全風險包括如下。

（1）非受控算法風險：即人工智能算法演進失控，甚至走向預期相反方向，可能引發倫理道德問題。

（2）AI對抗算法風險：根據人工智能算法能力，針對性的訓練出對抗算法，來規避原有算法能力，常用于人工智能防御。

（3）惡意樣本注入：攻擊者利用樣本進行逃逸攻擊，使原有識別模型失效，如攻擊自動駕駛汽車系統，將停車標志識別為“通行”或其它標志，可能導致交通事故，而把支票上的數字識別出錯則會直接帶來經濟損失。

（4）算法自身缺陷：因算法能力無法獲取全局最優解。

3.3 應用層安全風險

人工智能可以提供的應用日益增長，也產生許多安全風險。安全風險包括如下。

（1） 系統失控：該風險由非受控算法導致，可能造成人工智能誤操作。

（2）DoS攻擊/死機：該風險可能造成人工智能能力中斷，如黑客對于語音識別系統大量訪問，則普通用戶無法獲取到語音識別數據。

（3) 系統被控：該風險由軟件漏洞、弱口令等原因造成，可能造成黑客利用人工智能設備進行攻擊，例如智能家電如冰箱和烤面包箱被僵尸網絡控制，進行DDoS攻擊或者挖礦。

4 人工智能安全管控建議

4.1 系統安全防護措施

針對上述AI系統軟件安全漏洞導致安全風險，可以考慮以下安全措施。

（1） 使用最新版本的軟件和第三方庫，并及時更新補丁。

（2） 編程采用安全的函數，避免函數使用不當產生的安全漏洞。

（3）采用專業軟件測試工具；聘請專門的軟件安全測試專家或團隊對AI系統進行測試，及時發現可能存在的安全漏洞。

（4）加強AI模型的保護，采用高強度的加密算法對AI模型進行保護；或者采用其它更高級的數據保護機制進行保護，如SGX等。

（5）對AI模型進行剪枝來防御后面攻擊：通過剪除原模型的神經元，在保證正常功能一致的情況下，可以減少后門神經元起作用的可能性。利用細粒度的剪枝方法，可以去除組成后門的神經元，防御后門攻擊。

4.2 算法安全防護措施

針對上述AI算法模型的安全威脅，可以加強AI算法模型訓練與測試，使其構造對抗樣本的難度加大，從而使得AI算法模型更加健壯。具體地說，可以嘗試以下方法。

（1）數據清洗。數據清洗主要是對惡意的訓練數據進行篩選移除；對訓練數據和模型進行嚴格檢查，盡量使用安全可控的模型和數據。

（2）提高AI系統本身的安全性，如增加反調試等，防止逆向攻擊。

（3）對抗訓練。對抗訓練可通過在訓練時加入對抗樣本的方式仿真測試時可能的數據分本，降低模型對對抗樣本識別的錯誤率。

（4）防御蒸餾。針對AI算法模型的安全威脅，學者提出如防御蒸餾、對抗訓練、輸入重構等防御技術對抗閃避攻擊。防御蒸餾通過對多個DNN進行串聯，將前一個DNN生成的分類結果被用于訓練后一個DNN，降低AI模型對輸入擾動的敏感度，提高AI模型穩定性。

（5）輸入重構方法。則是通過對輸入樣本加噪音、去噪音等方法進行變形，這種變形不會影響模型正常分類，但能夠一定程度上抵抗對抗樣本。

4.3 應用安全防護措施

針對系統失控、DoS/死機、系統被控等安全風險，應用層在滿足數據安全、終端/應用物理安全的同時，還應需具備如下安全能力。

（1）應用終端安全：應用應遵循“最小權限原則”，保持權限和服務的最小化運行，采用訪問控制、身份認證、權限限制等機制提高系統的可靠性和完整性，縮小攻擊面；其次，應嚴格限制調試進程在系統中的權限，提高調試功能可控性；另外，應盡量避免設備缺省密碼固化等硬編碼問題。

（2）業務安全：可對業務行為、狀態進行監測，避免業務超限；可對威脅情報交換、共享，為攻擊檢測、安全防護、聯動處置、信息共享提供一個決策信息平臺；對部分業務應具備分級管控的能力、具備金庫機制。

（3）日志審計：應保留系統重要日志，并具備對系統日志進行日志審計能力。

5 總結

人工智能在全球呈現出加速發展的態勢，在很多領域已經展示出巨大的應用前景，人工智能已經成為國際競爭的新焦點、經濟發展的新引擎。隨著萬物互聯、云計算等技術發展，人工智能應用數據規模、計算能力將爆發式增長，人工智能也會對社會各方面深度介入并改變甚至顛覆人類現存生產工作和交往方式，世界也將走向人工智能時代。

在人工智能快速發展的同時，應對清醒地認識到人工智能的首要問題是安全問題，人工智能發展的安全性將給社會帶來極大挑戰。人工智能技術在造福人類的同時也可能加大技術對社會的危害性，基于人工智能的安全對抗也會是長久的過程。因此，產業各方應對人工智能安全性有統一的認識，以法律和倫理為界，加強在人工智能技術研究與開發領域的合作，建設安全管控能力，確保人工智能是安全、可信賴的，共同應對智能機器人在信息安全、倫理道德以及社會等層面帶來的安全挑戰。