改進的多任務道路特征提取網絡及權重優化

朱文杰,李宏偉,姜懿芮,程相龍,趙 珊

(1. 鄭州大學計算機與人工智能學院,河南 鄭州 450001; 2. 鄭州大學地球科學與技術學院,河南 鄭州 450052)

基于深度學習的人工智能技術的快速發展使得實現低成本的基于視覺的自動駕駛技術成為可能。自動駕駛技術的關鍵問題之一是如何構建一個高效的環境感知系統。目前的輔助自動駕駛技術多是基于高精度地圖實現的,但是高精地圖的生成往往需要借助多種傳感器進行數據采集和大量的后處理工作。如果能采用成本低廉的視覺相機構建實時的環境感知系統,則可以大大減少高精地圖生成所耗費的時間和費用,甚至可以通過車聯網的方法達成對高精地圖的更新,因此其具有更多的實際應用前景。此外,交通目標檢測、車道線分割和可駕駛區域分割這3項技術提供的信息在車輛的駕駛決策中起著至關重要的作用[1]。

交通目標檢測、車道線分割和可駕駛區域分割這3項任務在各自的單一領域得到了廣泛的研究。在目標檢測方面,出現了以RCNN[2]、Fast-RCNN[3]等為代表的一系列Two-stage目標檢測算法,以及以YOLO系列[4-7]為代表的One-stage目標檢測算法。其中,Two-stage方法的精確度較高,但是實時性較差;One-stage方法精度略低,但是具有高實時性,更符合現實生產生活的需要。在車道線分割與可駕駛區域分割方面,由于近年來卷積神經網絡的大規模應用,傳統的分割算法迅速地被取代。到目前已經出現了大量的高性能分割模型,如U-Net[8]中的encoder-decoder結構,以及特征金字塔 (feature pyramid network,FPN)[9]中使用的特征金字塔結構,使網絡能夠獲得不同尺度的特征,大大提高了分割網絡的精度。此外,RESA[10]方法、SCNN[11]方法和Lanenet[12]方法在車道線分割領域也顯示出優異的效果。

在自動駕駛的應用場景中,往往需要多種任務同時工作來提供服務,考慮車載電腦的計算資源有限且有高實時性要求,為每個任務單獨設置模型是不現實的。因此,需要一種可以將這些類似的任務耦合起來,并可以使用較少的資源且保持實時性的方法。多任務學習網絡[13]為此類問題提供了有效的解決方案,可以實現相關任務之間共享特征提取網絡,從而節省時間、空間和資源,已在NLP(natural language processing)及推薦算法領域證實了其有效性[14-16]。在計算機視覺領域,大量的模型采用Faster RCNN[17]的思想,使用ResNet[18]結構進行特征提取。這充分證明了其強大的特征提取能力可以滿足多任務學習網絡的需要, LSNet[19]、MultiNet[20]、YOLOP[21]和HyBrid-Net[22]均采用了以ResNet為基礎的共享編碼器,結果表明多任務學習網絡可以在僅增加少量的時間和資源占用的情況下同時完成多種相關任務。

本文提出一種結合FPN網絡的解碼器頭(Decoder Head)結構,并將其應用于以YOLOv4為主干網絡的多任務道路特征提取網絡中,該網絡可以同時完成交通目標檢測、車道線分割、可駕駛區域分割3項任務;此外,針對多任務學習網絡的特點對該網絡進行優化,以期為基于視覺的自動駕駛過程中車輛的自主道路感知及高精地圖的生成提供新思路、新方法。

1 道路特征提取網絡設計

本文使用的多任務學習道路特征提取網絡核心包括: ①共享的特征提取模塊的實現及協同工作,以完成交通目標檢測、車道線分割和可駕駛區域分割任務; ②損失函數的計算方式,以及如何使用損失函數控制不同任務的權重。

2.4.3 懸尾實驗 連續注射CORT 21 d后，小鼠禁食不禁水24 h后，將動物尾巴靠近尾部部分固定在距離地面60 cm處，使其呈倒掛狀態，動物之間留有一定距離，并視線彼此隔離，適應30 s后，記錄動物3 min內四肢不動時間。

1.1 網絡結構

已有研究如YOLOP、HybridNet中表明目前的主流特征提取網絡如Darknet[6]等可以很好地完成特征提取任務。因此,本文保留了同類優秀算法中的核心設計理念。利用現行目標檢測算法中較為優秀的特征提取網絡部分作為主干網絡(Backbone),但是目前此類算法中很少考慮分支任務的輸出頭(Head)設計。因此在YOLOv4網絡的基礎上為分支任務設計了一種結合FPN網絡的解碼器頭結構,以便更好地利用主干網絡提取的特征提高性能。詳細的網絡結構如圖1所示。

圖1 網絡結構

1.1.1 主干網絡

本文的主干網絡部分與YOLOv4網絡類似,將原始的RGB圖像交替通過CBH與BottleneckCSP模塊后進入頸部(Neck)部分。主干網絡部分的結構如圖2所示。

圖2 主干網絡結構

交通目標檢測結果的可視化如圖4所示?？紤]同類算法往往只能檢測車輛目標,因此僅考慮BDD100K數據集上的車輛目標檢測結果。其結果見表2,本文選取Recall、mAP50作為評估的指標,性能結果表明本文方法已經達到了主流目標檢測方法的精度。盡管在實時性上相比速度較快的YOLOv5s等方法仍有較大的差距,但是本文方法可以同時完成額外的可駕駛區域分割及車道線分割任務,且在速度方面也達到了實時性的要求。

綜上所述，對腦血管疾病合并糖尿病患者而言，優質護理的實施具有重要意義，可幫助其平穩度過圍術期，減少術后各類并發癥，促進早日康復。

1.1.2 解碼器頭

本區后期構造對巖、礦體有錯斷位移現象，可以解釋多個礦點深部礦化、蝕變突變問題。深部找礦需研究斷層構造位移方向和距離，確認找礦位置。已知礦床均產于主拆離滑脫剝離復合構造鏟形(犁式)斷裂緩傾斜地段；主、次級滑脫剝離斷層交匯帶控礦規模大，主拆離滑脫剝離斷裂帶伴派生構造控礦；次級滑脫剝離斷層虛脫部位或產狀變化處控礦；滑脫剝離斷裂帶控制礦化富集規律等，研究這些對找礦預測有一定指導意義。

2.1.2 參數及試驗設置

小兒化食口服液由山楂、六神曲、麥芽、檳榔、三棱、大黃、莪術、牽牛子組成，具有消食化滯、瀉火通便的作用，前期藥理學研究表明有促進大鼠胃排空，促進便秘小鼠的糞便排出及其止痛的作用［10］。楊亞紅［11］用該藥聯合媽咪愛治療64例2～6歲便秘患兒，總有效率達到96.9%。

2.1.1 數據集

圖3 解碼器頭結構

在可駕駛區域分割方面,使用類似于車道線分割任務解碼器頭也可以提高精度。由于可駕駛區域的面積較大但是邊緣區域并不規整,大部分算法在邊緣區域的提取效果較差。而類似的設計可以有效改善在邊緣區域的分割效果。但由于類似的網絡在這項任務中的精度已經很高,因此提升的幅度有限,而且會導致每幀約0.003 s的推理時間損失。

1.2 損失函數

對于多任務學習網絡,常見的損失函數設置方案是獨立計算不同任務的損失,再進行加權平均?？倱p失Lall計算方法為

Lall=α1Ldet+α2Lda+α3Lll

(1)

式中,Lda為可駕駛區域分割任務的損失;Lll為車道線分割任務的損失, 這兩部分均采用了傳統的分割損失計算方法,即交叉熵損失函數LCE;Ldet為交通目標檢測任務部分的損失,由3部分組成:分類損失Lclass、對象損失Lobj和邊界損失Lbox。其計算也采用加權平均的方式,即

Ldet=β1Lclass+β2Lobj+β3Lbox

(2)

式中,Lclass和Lobj為焦點損失,用于判斷分類是否良好;Lbox用于衡量生成的預測框與實際值之間的相似性,采用LIoU(交并比)的計算方法。

將這些損失加權求和得到最終的總損失。式(1)-式(2)中的α1、α2、α3、β1、β2、β3為對應部分損失的權值。在多任務學習網絡中,不同任務之間的權重設置往往由損失函數的權值控制,因此不同任務的損失權重對網絡中不同任務的精度影響很大,而在類似的算法(如YOLOP、HybridNet)中,并沒有考慮權重設置對最終網絡精度的影響。因此,本文分析了權重設置對網絡精度的影響,并通過比較不同的配置方案優化權重配置,以得到效果較好的配置方案。

2 道路特征提取網絡試驗

2.1 試驗設置

在車道線分割任務的設計方面,考慮車道線的細長且分散的特性,其往往跨越多個卷積塊,并且在較大的卷積塊中不能提取出足夠的特征,這會造成語義信息在特征提取過程中的消失。因此,本文采用FPN的思想,在進行上采樣之前,將主干網絡中前兩層的淺層低級語義信息與1.1.1節得到的結果相結合,以便解碼器頭能夠更好地識別在卷積過程中消失的小尺度語義信息。解碼器頭設計如圖3所示。

在數據集方面,本文采用BDD100K數據集。BDD100K數據集是近年來較為全面的面向自動駕駛領域的數據集之一,包含10萬幀的圖片及10個與自動駕駛方向相關的任務標注信息,便于開展多任務學習網絡的研究。此外,由于該數據集數據量龐大,因此具有地理、時間及天氣方面的多樣性,這使得本文在該數據集中訓練的網絡具有很強的泛化性;而且選用該數據集便于與同類方法進行性能對比。在數據集的劃分方面,本文抽取了10萬幀圖片數據中的7萬幀作為訓練集,2萬幀作為驗證集,剩下的1萬幀數據作為測試集。

請10名具有一定品評經驗的人員組成品評小組，根據評分標準（見表2）從色澤、風味、組織和口感4個方面對紫薯酥性餅干進行感官評定，取10名評判分數的平均值作為各項指標的評分，以感官評分的高低來判定產品的優良。

目標管理是進行任何一項管理工作的基本方法和手段，成本控制也應遵循這一原則，即目標設定、分解、責任到位和成本執行結果、評價和目標修正，從而形成目標管理的計劃、實施、檢查、處理的循環.在實施目標管理過程中，目標的設定應切合實際，更落實到各部門、班組甚至個人；目標責任應全面，既有工作責任，更有成本責任[3].

在交通目標檢測任務頭方面,保留了YOLOv4中的設計方案,采用基于錨點的多尺度檢測方案。將自下而上的特征聚合網絡與FPN相結合,然后分配給不同尺度的錨點進行目標檢測。

在參數設置方面,本文采用Adam優化器進行模型訓練,并使用預熱和退火算法調整學習率,從而保證模型能夠更好地收斂。這確保了可以在相同的條件下研究多任務權重設置對多任務學習網絡最終精度的影響。

在試驗方面,在選取現存的同類多任務學習方法進行性能對比的同時也選取了部分專注于單一任務的優秀方法,這些方法均在BDD100K數據集上取得了優異的性能,如YOLOv4與Faster-RCNN分別是One-Stage與Two-Stage目標檢測算法的代表。PSP-Net[25]則是語義分割領域的代表性方法。由于應用在BDD100K數據集上的車道線分割方法并不是很多,因此本文采用了在其他數據集中優秀的方法進行性能對比。本文方法均在最佳權重設置的條件下進行試驗,其中具體的硬件信息及設置見表1。

采用循環煙氣焙燒的方法，可以提高鉬錸的收率，也提高產品質量，還可以獲得高濃度的SO2煙氣直接送去制硫酸，這是可以解釋清楚的。例如這一爐輝鉬礦需要5次循環煙氣焙燒才能完成，那么前4次獲得的SO2煙氣都是高濃度的，只有最后一次才是低濃度的SO2煙氣，這5次煙氣混合起來肯定可以用于制硫酸。如果是2～3臺以上的焙燒爐，錯開作業，通過混合罐調節，就可以連續用于制硫酸。所以采用循環煙氣焙燒鉬精礦，是提高產品質量、提高鉬錸回收率約100%、還可以用自己的焙燒煙氣制硫酸的很好方案。

在車道線分割和通過區域分割方面,試驗發現在YOLOP方法中僅使用從頸部最后一層提取的特征時,網絡的精度較低。因此,本文根據這兩項任務的特點為其設計解碼器頭。

表1 試驗設置

2.2 試驗結果

2.2.1 交通目標檢測結果

在頸部(Neck)部分,使用SPP[24]模塊與FPN模塊融合主干網絡提取的特征。其中,SPP模塊用于融合不同尺度的特征,FPN模塊用于融合不同層次語義信息的特征。融合后得到的特征將進一步在解碼器輸出頭進行處理。

表2 交通目標檢測結果

圖4 交通目標檢測結果

2.2.2 可駕駛區域分割結果

以高分四號衛星影像和HJ-1B衛星影像重疊區作為實驗驗證區，采用分層隨機采樣的方式，隨機選擇512個驗證點，基于臨近時期高分一號衛星影像和圖像間對比解譯分析，逐點確定積雪覆蓋情況，計算積雪識別精度、Kappa系數等統計值，對積雪覆蓋精度進行統計，結果如表2.基于多時相高分四號衛星圖像積雪提取結果的Kappa系數達到0.84，表明該方法生產的積雪覆蓋產品與真值基準數據間具有很強的一致性、精度高.

可駕駛區域分割結果的可視化如圖5所示。在此類任務中,只需要將可供車輛行駛的區域從背景中分割出來(即道路部分)即可,采用mIoU作為評價指標,具體評估指標數據見表3。從結果可以看出,本文方法的精度要高于同類方法,已經達到了PSPNet方法的水平;并且在速度上也高于同類方法,滿足了實時性的要求。從結果推斷可以發現,本文的網絡結構得到的結果在邊緣部分更加平滑,且減少了在對向車道中產生的結果,使得本文方法在測試集上擁有更高的精度。

在世界屋脊采集種子的艱苦，非親歷難以想象。每一種植物的樣本數量要達到5000粒，瀕危物種樣本一般需要500粒。為了保證植物遺傳信息獨立，每個樣本之間的距離不能少于50公里，同時在整個西藏境內，任何一個物種的樣本不能超過5個群體……于是，在廣袤的高原上，有時一天奔波800公里，他的足跡遍布西藏最偏遠、最艱苦、最荒蕪的地區。峭壁上蜿蜒的盤山路，曾有巨石滾落砸中他所乘的車；沒有水，就不洗臉；沒有旅店，就裹著大衣睡在車上……早上五六點出發，晚上八九點鐘到達宿營點，之后還需要連續幾個小時整理標本，一天睡3個小時是常態。

表3 可駕駛區域分割結果

圖5 可駕駛區域分割結果

2.2.3 車道線分割結果

車道線分割結果的可視化如圖6所示。本文采用精確度(Accuracy)、Lane IoU作為評價指標,具體的結果見表4。從結果可以發現本文方法的性能較對比方法有顯著提升,減少了車道線檢測過程中同一條車道線中斷的現象。相比于作為Baseline的YOLOP方法,本文方法在車道線分割任務中精確度提升了8.2%,盡管本文方法中增加的結構相比于Baseline增加了額外的推理時間,但是其仍舊可以滿足實時性的需要。

表4 車道線分割結果

圖6 車道線分割結果

2.3 消融試驗

本節通過對比單任務方案與多任務方案來驗證多任務方案的有效性。

分別使用該網絡執行單一任務與多任務方案,得到的性能數據見表5。從性能數據可以發現,執行多任務模型可以達到甚至超過執行單一任務時的精度,并且可以節省大量的時間。出現這一情況是因為在訓練過程中,目標檢測任務的損失函數下降較快,可以快速收斂;且由于采用了共享編碼器的思路,在目標檢測任務收斂后,對于收斂較慢的另外兩個任務,整個網絡處于一種預訓練的狀態下,在此基礎上進行剩余的訓練則可以達到提升精度的效果。

表5 多任務與單任務

其中消融試驗的評估指標與相關設置均與上述內容中的設置一致。

3 多任務權重平衡研究

一般而言,多任務學習中不同任務之間的平衡是通過控制損失函數的權重實現的,不同的權重設置,也會對網絡的最終精度造成影響。本文將采用同樣的方法來研究權重對多任務學習網絡的影響,從而得到最佳的權重配置方案。

3.1 權重對不同任務的影響

通過隨機設定的方案探討權重影響的總體趨勢,其中初始的任務權重設置見表6中方案1,之后按一定的比例設置了額外的幾種方案,其具體設置見表6方案2-方案5。

表6 權重方案及結果

經過相同的訓練后,得到不同方案的結果。分析結果可知,不同任務受權重的影響不同。其中,道路目標檢測任務對權重的改變影響最小,即使設置較小的權重也不會對其精度造成影響;對于可行駛區域分割任務而言,其受權重的影響適中,在權重增加時,該任務的精度也在上升,當權重過大時便不再提升;車道線分割任務對權重設置最為敏感,當權重改變時,其精度就會隨之產生比較大的變化。

由于本問題的解構建圖基于成本矩陣構建，每個元素均為一個節點，故將信息素τij置于每個節點上，代表第i個車組擔任第j個車次的期望程度。在初始時刻設 τij(0)=K(K為常數)。

3.2 最佳權重設置

針對表6試驗所得數據,進行進一步優化調整,得到了最佳的權重及對應結果(見表7)。結果表明,本文方法可以通過該方式進行優化,從而使網絡擁有更好的性能。

表7 最佳權重結果

為了驗證本文權重設置方案的有效性,在同類的算法中應用了類似的權重設置方案,以此驗證權重設置的有效性。在保持其他設置相同的情況下,將同樣的權重方案應用在YOLOP的模型中,得到的結果見表7。從性能數據可知,本文的權重設置方案具有一定的遷移性,可以在類似的多任務網絡模型中采取相同的優化方案。

4 結 語

本文設計了一種結合FPN網絡的解碼器頭結構,并將其應用于多任務學習道路特征提取網絡。該結構在保證模型實時性的基礎上有效提升了分支任務中可駕駛區域分割任務及車道線分割任務的精度。此外,也對多任務學習網絡的任務權重配置進行了分析,通過分析不同任務對權重的敏感程度得到最佳的權重配置方案,降低多任務之間的影響,進一步提高了精度?？紤]本文主干網絡的特點,未來可以在此基礎上拓展更多的分支任務,進一步提高方法的靈活性;并且將多任務學習網絡與高精度的語義分割及檢測任務相結合,為未來高精度地圖的實時生成提供新思路與新方法。