H.265/HEVC在安防行業的應用

□ 文 /吳參毅

視頻編解碼標準現狀

目前市面存在多個視頻編解碼標準，每個視頻編解碼標準都由不同的組織制定，標準組織的水平基本上代表了其視頻編解碼標準的水平。如下羅列的幾個組織：

ISO/IEC MPEG（運動圖像專家組）：即ISO/IEC JTC1/SG29/WG11。

其中文含義為：國際標準化組織和國際電工委員會第1聯合技術委員會/第29小組委員會/第11工作小組。

ITU-T VCEG（視頻編碼專家組）：即ITU-T SG16/Q.6。

其中文含義為：國際電信聯盟-電信標準化部門第16研究組（多媒體編碼、系統和應用）/第3工作組（媒體編碼）中的第6問題組（視覺編碼）。

第（1）和第（2）國際組織在不同的時期都成立了聯合工作組制定視頻編解碼標準，這些聯合工作組幾乎囊括了國際上在視頻編解碼領域的研究機構和企業單位。這三個聯合工作組分別為：

①JVT：中文含義為：MPEG＆VCEG成立的“聯合視頻團隊”協作團隊，負責開發AVC/H.264（2009年解散）。

②JCT-VC：中文含義為：MPEG＆VCEG成立的“視頻編碼聯合協作團隊”，負責開發HEVC/H.265（2010年1月成立）。

③JVET：中文含義為：“聯合視頻探索團隊”，探索HEVC以外新技術的潛力（2015年10月成立），后來更名“聯合視頻專家團隊”，從2018年4月發負責開發VVC/H.266。

ISO/IEC和ITU-T這兩個國際視頻圖像編碼組織自從上世紀80年代開始，制定了一系列的視頻編解碼標準，如圖1所示。

▲圖1 國際視頻編解碼標準歷史（1985～2020）

AOMedia：即開源媒體聯盟，主要由Google、Amazon、Netflix、Intel、Cisco、Mozilla等公司發起成立的開源組織。其于2018年3月正式發布AV1。

AVS工作組：AVS工作組是數字音視頻編解碼技術工作組的簡稱，由國家工信部域2006年6月批準成立，工作組的任務是面向我國的信息產業需求，聯合國內企業和科研機構，制（修）訂數字音視頻的壓縮、解壓縮、處理和表示等共性技術標準。由高文院士擔任組長，目前有近100家會員單位，會員單位既包含企業單位，也包含科研機構。該組織于2006年發布國標GB/T 20090.2-2006（AVS1），并于后來基于新版的AVS1發布國際標準IEEE P1857；并于2016年發布了國標GB/T 33475.2-2016（AVS2），行標GY/T 299.1-2016，和國際標準IEEE 18574。

SVAC工作組:SVAC工作組，是由中星微電子公司和公安部第一研究所成立的，聯合國內40多家企業、科研機構成立SVAC企業聯盟推廣SVAC標準。SVAC全稱為“安全防范監控數字視音頻編解碼技術標準，SVAC工作組于2011年發布了GB/T 25724-2011，于2016年發布了第二版GB/T 25724-2016。

▲圖2 國際視頻圖像編碼標準的編碼效率對比

由以上可見，在國際標準范圍內就目前來看H.265/HEVC當屬編碼效率最高的標準，同時也是在全球范圍內參與標準制定企業和科研機構數目最多的，同時國際影響力也是最大的。這些因素促使H.265/HEVC不僅僅在視頻監控領域，也在移動互聯網、網絡流媒體、電視廣播等領域產業鏈逐漸完備的視頻編解碼標準。

雖然開源的AV1號稱壓縮效率高于H.265/HEVC，但由于其剛剛發布，且在視頻監控領域也沒有芯片可支持AV1的編碼和解碼。國內的AVS2/SVAC雖然號稱其編碼效率和H.265/HEVC相當，但是在視頻監控領域仍未出現編解碼芯片。

就目前而言，相比H.265/HEVC，其它的諸如AV1、AVS2、SVAC視頻編解碼標準，在技術先進性、編碼效率高效性、標準參與度、市場影響力、編解碼芯片的成熟度、專利許可、產業鏈完備性等諸方面，雖然在某個方面具有優勢，或者某個應用領域帶有強制性，但是就在整體方面來看，目前都無法完全取代H.265。

不同于其他應用領域，可能只需要視頻解碼器，或者只需要視頻編碼器。但是對視頻監控應用來講，在整個系統中，既需要視頻編碼器，由需要解碼器。同時還需要多種形態的視頻編解碼器。同時現在視頻監控的的編碼器大都集成在IPC中，這就意味著IPC的SOC芯片中視頻編碼功能只是一個功能而已，尤其是對帶有視覺智能功能的IPC，視頻編碼功能不再是一個決定性的功能。這也就意味著，在現有編解碼方案已經成熟且滿足應用的情況下，使用視頻編解碼代替方案動力更加不足。

但從另一個角度來講，AV1、AVS2、SVAC目前來看，還沒有出現能夠應用于IPC的集成其視頻編碼器的SOC芯片，以及后端NVR和解碼器/拼控器的多路視頻解碼器的相配套的視頻監控方案級別的視頻編碼芯片以及視頻解碼芯片。只有編碼芯片或者只有解碼芯片，對視頻監控領域應用來講，是沒有意義的。

H.265/HEVC技術特點

若H.264/AVC轉為標清分辨率（SD，最大分辨率為720×576）而設計的話，則H.265/HEVC專門為高清（HD，最大分辨率1920×1080）甚至超高清分辨率（UHD，分辨率為4K/3840×2160和8K/7680×4320）一點也不過分。

H.265/HEVC自2013發布首個版本之后，截止2016年，共發布4個版本：

Version 1：2013年4月發布，包含Main、Main10、Main Still Picture框架（Profile）。

Version 2：2014年10月發布，主要增加了21個色度空間深度（range）擴展框架、2個可伸縮（scalable）擴展框架、1個多目（multi-view）擴展框架。

Version 3：2015年4月發布，主要增加了3D Main框架。

Version 4：2016年11月發布，主要增加了7個屏幕內容編碼擴展框架，3個高通量擴展框架和4個可伸縮擴展框架。

雖然記錄一代視頻編碼標準H.261過去了30多年，雖然在這30多年的時間里，視頻編解碼發展迅速，但是目前最先進的視頻編解碼標準H.265/HEVC仍然采用如同第一代視頻編解碼器相同的混合編碼框架，如圖3所。H.265/HEVC的編碼框架如圖4所示。圖3和圖4比較，主要算法模塊幾乎相同。圖4的H.265/HEVC編碼模塊相比圖5的H.264/AVC編碼模塊有多出幾個幾個算法模塊，同時即便是名字相同的算法模塊，比如幀內預測、運動估計、變換與反變換、去塊濾波器，其中的算法細節已經進行了許多優化，大不相同。

雖然H.265/HEVC的編碼框架沒有發生本質變化，但是其編碼效率確取得了顯著提升。著重選擇幾個主要算法提升點說明如下：

▲圖3 混合編碼框架圖

▲圖4 H.265/HEVC編碼器框架圖

▲圖5 H.264/AVC編碼框架圖

相比于以前的視頻編碼器的最大編碼圖像塊/編碼樹單元）為16×16，H.265/HEVC把最大編碼圖像塊提升到64×64。之所以這么大是因為對高清、超高清視頻來講，平坦區域無紋理更大，使用更大尺寸的編碼圖像塊，相比于把平坦區域無紋理區域劃分為16×16的塊進行編碼，更能節省比特數。同時相比于與H.264/AVC幀內預測對編碼圖像塊對稱性劃分(如圖6所示)，H.265/HEVC的幀內預測（如圖7所示）對最大編碼圖像塊的劃分模式更加豐富，同時對一個最大編碼圖像塊的二叉樹分割深度可以圖像塊的具體紋理細節隨意分割。同時H.265/HEVC使用多大33種幀內預測模式（如圖8所示），所示其I幀的編碼效率很高，兼容Main Still Picture框架的H.265/HEVC圖片其編碼效率相比JPEG提高一倍，相比JPEG200提高20%，圖表1所示。

▲圖6 H.264/AVC 幀內預測塊劃分模式

▲圖7 H.265/HEVC的幀內預測塊劃分模式

▲圖8 H.265/HEVC 33種幀內預測模式

表1 H.265/HEVC圖片格式在相同PSNR/MOS下的比特率降低量

SAO：即樣點自適應偏移濾波器，SAO是H.265/HEVC編碼標準中新增的一項重要壓縮技術。如圖4中的H.265/HEVC編碼框架圖所示，SAO位于去塊濾波器deblocking filter之后，如圖9所示(a)。圖像經過壓縮和解碼后，精度都會損失，通過計算去塊濾波器之后重構YUV數據和原始YUV數據之間的差值決定壓縮碼流的信噪比（PSNR），信噪比越小說明去塊濾波重構YUV越偏離原始YUV圖像，解碼重構圖像的主觀質量越低。所以最直觀的想法就是要想提高信噪比，就必須把去塊濾波之后的重構YUV數據和原始YUV數據中每個相同像素位置的像素值的差值進行編碼，把這個差值放入碼流中傳輸到解碼器，解碼器去塊濾波器輸出的YUV數據再把這個差值疊加上去，進一步得到的重構YUV數據就會更加接近原始YUV數據，信噪比會更高，解碼圖像的主觀效果更好。

▲圖9 SAO濾波器框圖

并行處理工具：tile和WPP。在H.265/HEVC之前的視頻編解碼標準中，對圖像中的圖像塊，總是以光柵掃描順序進行的，即上一行的圖像塊從首個塊開始，從左到右依次編碼，到達最后一個圖像塊后，然后繼續從下一行的左邊首個圖像塊開始，從左到右依次編碼。在視頻圖像碼流中，當前圖像塊的碼流比特解碼，必須依賴于之前圖像塊的碼流解碼結果。

H.265/HEVC主要面向于高清和超高清分辨率視頻圖像編解碼。對于大分辨率圖像編解碼，傳統的CPU或者編解碼芯片來說，使用單顆加速引擎完成整個圖像的編碼或者解碼時間太久，同時現在的硬件平臺大都是多核的，所以有必要在設計H.265/HEVC碼流時，在碼流層面就可以實現并行處理能力。

如圖10所示，左邊是把圖片進行水平等分切割和豎直等分切割，每個區域稱為一個tile，每個tile邊界處的圖像塊之間沒有依賴關系，這樣如圖10左邊圖像劃分為6個tile，則可以使用6個線程同步編碼或者同步解碼。圖10右邊則打破每個圖像塊行的最末圖像塊和下個圖像塊行首個圖像塊熵碼流的概率依賴關系，這樣每個圖像塊行就可以同步編碼或者同步解碼。圖10的左右兩種同步工具一起使用的話，對一個高清或者超高清圖像，實際每個線程，或者每個加速引擎處理的只是幾分之一的的圖像，整幅圖像的編碼、解碼時間大大縮短，達到實時要求。

▲圖10 并行處理工具

H.265/HEVC專利風險

▲圖11 H.265/HEVC的專利池分布圖（截止2018）

目前已知的H.265/HEVC的專利持有人情況如圖6所示：共有43家公司持有H.265/HEVC專利，其中17家公司在MPEG-LA專利池中，8家公司在HEVC Advance專利池中，5家公司在Velos Media專利池中，2家公司同時加入了MPEG-LA和HEVC Advance專利池，還有15家公司沒有加入任何專利池。MPEG LA和HEVC Advance已發布H.265/HEVC的專利權使用費和許可政策，Velos Media, Technicolor和另外14家公司暫時沒有公布自己的收費政策。

HEVC Adavance

HEVC Advance成立于2015年3月份，由杜比、飛利浦、三菱、通用電氣、Technicolor等公司組建，聲稱擁有500多項H.265/HEVC技術專利。后來Technicolor公司因自身原因脫離HEVC Advance，獨立授權。經過多次修訂后，HEVC Advance現行的H.265/HEVC許可費率和結構如下：

▲圖12 標準的設備抓力使用費率

MPEG LA

MPEG LA公司是全球領先的各種標準和其他技術平臺的一站式許可證提供商，從20世紀90年代開始就開創了現代專利池，上一代應用最廣泛的標準H.264也是由該公司來提供許可授權的。

總之，MPEG LA的許可政策一直都比較穩定，每次更新都只更新了許可人信息，許可費率并未改動。HEVC Advance自成立以來對許可框架已經進行了至少3次大的調整。從目前的許可費率來看，對于設備制造商，在合規的情況下，專利封頂年費在6500萬美元左右；如果不合規，則執行標準費率，無封頂年費。

此外，還有大量的專利持有人公司沒有加入到任何專利池，也沒有公布自己的許可政策，后續還會不會出現另外的針對H.265/HEVC的專利池，只能拭目以待。同時在國外還存在一些所謂的專利流氓公司，專門針對海外銷售的產品打專利官司索要錢財，這也是一個很大的風險，尤其現在國內的視頻監控廠家把大量的IPC和NVR等產品銷售到海外市場。