面向時隙光交換網絡的納秒級時間同步技術

丁 蕊，黨導航，郭元之，薛旭偉，郭秉禮，黃善國（北京郵電大學，北京 100876）

1 概述

隨著互聯網的普及和通信服務的快速發展，流媒體、云計算等相關應用業務對數據流量的需求增加，數據中心組網的規模不斷擴大，高密度服務器之間的通信對帶寬提出更高的要求，而傳統的電交換架構受限于帶寬和能耗，逐漸難以滿足通信網絡對傳輸容量及速率的要求。由于對光交換技術的研究和需求逐漸增加，目前已有研究將光交換引入數據中心架構，與全電交換相比，全光交換在帶寬、時延等方面有更好的性能。為解決大規模數據中心的問題，滿足它對高帶寬、高效數據傳輸的需求，同時兼顧通信系統的擴展成本，通常采用光電混合架構，兼顧光交換和電交換的優勢，可以靈活地選擇傳輸方式。在數據中心組網中引入光交換技術，利用時分復用（Time Division Multiplexing，TDM）或波分復用（Wavelength Division Multiplexing，WDM）技術提升帶寬、降低時延。時隙交換的前提是精確的時間同步，確保各個機架的時隙對齊，同步的精度越高，劃分的時隙越短，控制器在分配帶寬時越靈活，可根據實際流量的需求實現動態分配，提升資源利用率。

在已有的光網絡架構中，通常使用基于網絡傳輸時間戳的同步協議，其精度在毫秒級或微秒級，或者采用精度能達到納秒級甚至亞納秒級的高精度同步方案，但是該方案依賴于特定硬件對相關協議的支持。目前能長時間保持穩定的時間同步模塊的最高精度為10 ns。微軟提出一種快速光交換架構Sirius，并根據自身的調度特點設計了一種新的同步協議，能達到百皮秒級的時間同步，但是需要在每個時隙進行同步，挑選質量最佳的時鐘作為主時鐘。

TDM 技術在時域上復用多路信號，可在同一個信道上傳輸多路數據。為了保證分割時隙的準確性，需要提前對各端點進行時間同步。本文提出一種面向時隙光交換網絡的納秒級時間同步技術，基于FPGA（Field Programmable Gate Array）用硬件描述語言實現IEEE 1588v2 協議。由于機架的主從端都通過FPGA實現該協議的同步邏輯，所以不需要額外的硬件支持就可以實現高精度的時間同步，只需要在數據鏈路層將時間同步報文插入數據包并通過以太網封裝傳輸即可。同時，與需要考慮網絡抖動而在每個時隙挑選最佳時鐘的方案相比，硬件開發板的晶振時鐘源質量較好，能長時間保持穩定，不需要頻繁啟動同步進程。

對交換模型進行了實驗測試，實驗結果證明了基于FPGA 開發的時間同步模塊可以實現納秒級同步，單個同步周期的主從時鐘偏移量不超過2.56 ns，即一個時鐘周期，且能保持長時間的穩定，同步后的時鐘抖動不超過20 ps。

2 架構實現思路

2.1 系統結構

AWGR（Arrayed Waveguide Grating Router）作為一種無源光波導元件，可以實現多波長的路由和分配。為解決數據中心規模擴大帶來的帶寬、時延、能耗等問題，引入光交換器件AWGR 和可調諧激光器來增加帶寬并降低能耗，基于FPGA 的同步與調度可以滿足高速數據處理和不同規模網絡處理的需求。通過AWGR 的多波長輸入輸出和周期性路由特性，提升帶寬利用率。各機架完成同步是基于FPGA 的調度模塊負責集中調度的前提，因此采用IEEE 1588v2 協議實現納秒級硬件同步。每個機架包含架頂（Top of Rack，ToR）交換機，負責機架內服務器之間的通信。光交換具有高帶寬、低時延的特點，而電交換具有更好的控制性能，為了更好地分配和利用帶寬，通過分流模塊將大象流和老鼠流分別轉發到光路和電路，減少網絡堵塞，降低延遲和丟包率，提升資源利用率。整體系統架構如圖1所示。

圖1 系統架構

2.2 時間同步模塊

在光網絡架構中，每個ToR都包含時間同步模塊，在系統初始化完成后，調度器作為整體控制器和時間同步的主端，并以其時鐘為基準同步各從端ToR 的時鐘。

基于FPGA 實現的控制器負責同步、流控等功能，配置并調用Xilinx 官方IP 核10G/25G High Speed Ethernet Subsystem。使用AXI4_Lite 協議控制FPGA 計數器的初始化和修改，時間同步的主從端分別通過FPGA 實現，用戶端同步模塊的數據通過AXI4_Stream發送到IP 核，IP 核封裝數據并通過光口發送。IP 核的以太網接口包括PCS/PMA 和MAC 2個部分，用戶數據通過axi 協議傳入10G MAC 核并進行以太網協議的封裝，MAC 核和PHY 核之間通過xgmii 接口相連，最后10G PHY 將數據進行編/譯碼并轉換為串行通過GTY輸出，SFP 經過光電轉換將數據通過光纖發送到其他設備。

具體的1588v2 協議通過硬件編程語言實現，采用雙跳模式，即將事件報文和時間戳分開發送。先由主端向從端發送Sync 報文并記錄時間戳t1，表明同步開始，從端接收并記錄時間戳t2，t1將跟隨Follow_Up 報文發送到從端記錄。從端發送Delay_Req 報文并記錄時間戳t3，主端接收報文后，將接收時刻的時間戳t4隨Delay_Resp 報文發送到從端。由此，t1與t2的差值就是鏈路延遲與時鐘偏移之和，t3與t4的差值為鏈路延遲與時鐘偏移之差，通過差值相加減并除以倍數即可分別計算出鏈路的延遲與時鐘偏移。由FPGA 實現的同步模塊結構如圖2所示。

圖2 1588v2同步模塊結構

選定控制器做Master，以該時鐘為標準，向從端發送同步信號并交互時間戳，在一個同步周期結束后，從端根據接收的時間戳計算時延和偏移，修改本地計數器，同步Slaver時鐘。

3 實驗設置

用實驗測試平臺搭建4×4 的交換模型，使用4 個FPGA 模擬ToR1～4，另1個FPGA 作為集中控制器負責整體的調度。每個ToR 都有4 個25 Gbit/s 的傳輸通道，其中2個連接到電交換機，一個端口通過可調諧光模塊走光纖鏈路與AWGR 相連，SFP28 收發器提供25 Gbit/s 的傳輸帶寬。選定控制器為主端，ToR1～4 為從端，以控制器上的時鐘為主時鐘，通過時間戳的交互計算時鐘偏移量，同步其他4 個ToR 的時鐘。在正式傳輸數據前，同步各架頂交換機的時鐘，并通過示波器測量主從時鐘的偏差。同步完成后進行數據傳輸，使用以太網測試儀發包并監測流量狀態。

4 實驗結果

主從端FPGA 內部均有一個基于390.625 MHz 時鐘的計數器，導出一個在計數值變化時會翻轉的電平信號，累加輸出一個1 ms 翻轉的方波，通過SMA-BNC線連接到示波器測量，采樣約20 000 個數據點并計算RMS（Root Mean Square）值。示波器的測量結果如圖3所示，其中綠色波形為主時鐘，黃色波形為從時鐘，采樣結果顯示時鐘偏移為2.026 9 ns。紅色波形為幾萬個數據點的分布圖，峰值范圍從1.983 4 ns 到2.068 5 ns，時鐘抖動為10.992 ps。

圖3 示波器測量波形

根據示波器的結果，以RMS 值作為有效數據點繪圖，測量不同運行時長下的時鐘偏移，結果如圖4 所示，偏移量維持在一個穩定值。由于時間同步模塊可以在一個時鐘周期內完成同步，采用的時鐘頻率為390.625 MHz，因此時鐘偏移量不超過2.56 ns。

圖4 運行時長對時鐘偏移的影響

為考察同步后時鐘的穩定性，分別測量不同光纖長度、運行時長和環境溫度下的同步結果，數據點的采樣方式與圖4相同。

如圖5 所示，分別測量了1 m、2 m、15 m、512 m 和1 013 m長度的光纖對時鐘偏移的影響，差值保持在皮秒級，雖然在1 m 到15 m 光纖長度下時鐘偏移由396 ps 增加到了800 ps，但512 m 和1 013 m 長度下的同步結果基本都在800 ps 左右。由圖6 可看出，不同光纖長度下，時鐘抖動在10.086 ps 到10.630 ps 之間，穩定性較好。實驗結果表明光纖長度對時間同步的結果沒有顯著影響，不影響納秒級光交換系統的性能。

圖5 光纖長度對時鐘偏移的影響

圖6 光纖長度對時鐘抖動的影響

使用1 個FPGA 板作為主端控制器，剩下4 個FPGA 作為從端ToR1～4，對多節點同步的情況下各點的同步效果進行測試，結果如圖7 所示。從圖7 可以看出，時鐘抖動基本保持在一個穩定值，最小值為10.689 ps，最大值為11.155 ps。對不同環境溫度下時鐘的穩定性進行測試，將代表主從端的FPGA 放在恒溫箱中運行，以5℃為一個梯度單位進行測量。實驗結果表明在20～50 ℃的溫度下，時鐘抖動均穩定在13 ps左右（見圖8）。

圖7 各節點的時鐘抖動情況

圖8 溫度對時鐘抖動的影響

5 總結

本文提出了納秒級時間同步光電混合架構，該架構實現了基于硬件的納秒級時間同步，保證基于時隙的數據傳輸，減少了集中調度各架頂交換機所造成的時延。最終結果表明一個同步周期內主從時鐘的偏移為納秒級，時鐘偏移量不超過2.56 ns 且穩定性較好，時鐘抖動為皮秒級，滿足同步需求。