摘要：深度卷積神經網絡CNN通過輸入圖片直接預測出方向盤轉角，以端到端的方式應用在自動駕駛車道保持任務上并取得了較好的效果。但在同時進行車道保持與繞開障礙物難題上，當前的方法還不足以對車輛有較好的控制。采用分支網絡輔助任務學習方法，首先采用深度卷積神經網絡CNN與長短期循環神經網絡LSTM相結合，設計魯棒性的CNN+LSTM分支網絡結構，其次采用語義分割的輔助任務。基于分支網絡輔助任務的端到端自動駕駛網絡模型不僅能獲取場景的空間與時序信息，還能有效地對駕駛場景進行語義理解，從而完成對車輛方向盤轉角和速度的同時預測，最終較好地完成同時車道保持與避障繞開的駕駛行為。此網絡框架在自動駕駛模擬器GTAV和實車上已經得到驗證。

　　關鍵詞：人工智能,自動駕駛,分支網絡,神經網絡。

　　1引言

　　隨著深度學習尤其是深度卷積神經網絡CNN的發展，自動駕駛技術得到了蓬勃發展。在傳統的自動駕駛中，基本采用規則系統的模塊化方法[1-5]，一般分為感知融合、決策規劃和控制幾大模塊。其優點是各模塊的任務明確，系統出現問題時可進行快速排查，系統的可靠性較高。

　　然而，這種方案依賴于各個模塊的人工精細設計，往往覆蓋不了駕駛的各種場景，處理復雜路況的能力有限，需要耗費大量人力物力財力進行數據標注。而基于深度學習的端到端自動駕駛是通過模仿駕駛員駕駛行為，直接將原始數據輸入深度學習網絡，輸出車輛的控制信號。不需要對各個模塊進行復雜精細的設，訓練數據可以直接通過車載攝像頭和車載CAN中得到。

　　2016年，Nvidia的研究者使用深度卷積神經網絡實現了在各種道路環境下對自動駕駛車輛方向盤轉角的端到端控制，通過輸入原始圖片直接預測出方向盤轉角[6]。XUH等人提出了FCN+LSTM的網絡結構[7]，引入了語義分割的輔助任務，加強了網絡對行駛場景的理解，同時預測了車輛在橫向和縱向兩個方向上的動作概率。利用車輛行駛過程中的空間和時間信息，CHIL等人設計了ConvLSTM網絡有效地提高了端到端模型對車輛轉角的預測準確率[8]。

　　Dosovitskiy，Alexey[9]等提出了模仿學習的端到端自動駕駛，引入左轉、右轉、直行導航信息的分支網絡結構，同時預測車輛的方向盤轉角與加速度。上述論文中的方法都能在一定程度上通過深度學習端到端網絡形式較好地完成對車輛的方向盤控制，但在同時進行車道保持與繞開避障物難題上具有一定的局限性。本論文(1)主要設計一種卷積神經網絡CNN與長短期循環神經網絡LSTM相結合的CNN+LSTM魯棒性分支網絡結構，并以語義分割作為輔助任務，同時預測方向盤轉角和車速，進行車道保持與繞開障礙物;(2)本文設計的模型性能在GTAV虛擬數據集、實車數據集均得到了有效的離線分析和驗證，在真實場景下進行了在線測試。

　　2方法

　　2.1CNN+LSTM分支網絡結構

　　針對車道保持與避障繞開是兩個相互獨立問題，若用一個網絡結構，很難既能較好的車道保持又能繞道避障，本文采用CNN+LSTM的分支網絡來訓練端到端自動駕駛模型。我們對車道保持與避障繞開采用不同的模式輸入，共享一部分卷積層CNN的特征參數，然后利用模式信息輸入到不同的卷積層、LSTM以及FC結構，最后同時預測出方向盤轉角與速度。其中車道保持與避障繞開兩個分支網絡會采用不同的訓練數據，車道保持分支網絡采用的是車道保持訓練數據，而避障繞開分支網絡采用的是避障繞開的訓練數據。通過這種分支獨立訓練方式，端到端自動駕駛網絡模型既能在進行車道保持的同時又能完美地避開障礙物。

　　2.2輔助任務

　　端到端深度學習自動駕駛是一種有監督學習過程，輸入圖像，以駕駛行為如方向盤轉角與速度為標簽，進行反向傳播。將全部的圖像特征輸進網絡去學習，模型往往很難找到那些對駕駛有幫助的重要特征信息。通常人在開車時眼睛只關注到某些重要信息然后就做出駕駛行為動作。因此增加輔助任務語義分割進行多任務訓練變得至關重要，通過輔助任務學習方式讓網絡學會對場景進行語義理解，能夠關注前方是否有車輛、行人等重要障礙物信息，最終網絡模型才會輸出更為準確的駕駛行為信息如方向盤轉角與速度，有利于車道保持與避障。采用輔助任務語義分割的多任務方式訓練CNN網絡的共享特征層，然后銜接LSTM層與FC層，輸出車輛控制信息如方向盤轉角與速度。在訓練輔助任務語義分割時，CNN網絡的共享特征層后面需增加子網絡，在最終預測時可去掉此部分子網絡參數。

　　3數據

　　3.1GTAV數據

　　在自動駕駛模擬器GrandTheftAutoV(GTAV)上采集了約20萬張圖像。其中10萬張是沿車道線行駛的車道保持數據，10萬張是遇車繞開避障的數據。車道保持與繞開避障的數據都包含了高速和城市道路的數據。包含了白天和夜晚。以30幀/s的幀率同時采集中間攝像頭、左右兩邊的前視攝像頭的圖像，同時也會記錄車輛信息如方向盤轉角、速度、油門和剎車。分別將采集的10萬張車道保持與避障數據以9:1的比例分為訓練集與驗證集，最后我們會任意選取一條閉環路線測試模型的擬合能力。

　　3.2實車數據

　　為了驗證在模擬器GTAV上表現較好的模型，在真實道路上的效果，我們構建了自己的數據集，對廣州市各區域的主干道路采集了約16萬張圖像，與GTAV上的道路場景相類似，包含了白天與夜晚，晴天與雨天，其中白天和晴天的占比高。采集中間攝像頭、左右兩邊的前視攝像頭的圖像，同時記錄車輛信息如方向盤轉角、速度、油門和剎車。

　　4實驗

　　分別在GTAV與實車數據上對CNN+LSTM的分支網絡做了實驗，然后對加輔助任務與不加輔助任務做了對比實驗，從分支網絡結構、輔助任務這兩個方面進行了研究，并在真實道路上進行了實車測試。在端到端網絡模型訓練中，我們將下采樣后的圖像調整到224×224的大小，CNN網絡采用的是深度殘差網絡Resnet50[10]，遷移了在ILSVRC2012圖像分類上預訓練的Resnet50模型，初始學習率設置為1e-4，采用指數衰減。LSTM網絡采用兩層結構，隱藏層的大小為256，圖像的序列長度設置為8，為防止LSTM梯度爆炸，梯度修剪值設置為10。我們采用回歸的方式來預測方向盤轉角與速度。

　　在評價模型好壞方面，我們主要采用離線與在線測試;在離線測試上，我們計算測試集中樣本的方向盤轉角與速度預測值與標簽值之間的平均絕對誤差MAE，MAE值越小，說明模型的預測值越接近真實值，模型的擬合能力更好。在線測試方面，我們主要以在自動駕駛模擬器GTAV和現實道路上測試的干擾次數為評價基準。在輔助任務語義分割中，我們采用論文中deeplabv3+[11]的方法進行語義分割任務，輔助任務與主任務只共享CNN特征層。端到端自動駕駛主任務與輔助任務損失函數的權重比例為1:1。

　　4.1CNN+LSTM分支網絡模型

　　本文的端到端自動駕駛網絡模型對橫向方向盤轉角與縱向速度控制進行同時預測。采用模式輸入形式，分別同時訓練車道保持與避障繞開分支網絡模型。無論在車道保持還是在避障繞開上，分支網絡在方向盤轉角與速度的預測上還比較準確，MAE值比較小。這說明采用CNN+LSTM網絡結構對端到端自動駕駛模型有積極的影響，橫向方向盤轉角與速度的預測依賴于時序特征，方向盤轉角與速度的前后時序關系都比較重要，將圖像的空間特征與時序特征相結合，能更加準確地預測出方向盤轉角與速度。

　　同時，采用分支網絡形式，在車道保持與繞開避障的獨立互斥問題上都能得到較好地解決，分支網絡在車道保持與繞開避障上的方向盤轉角與速度的預測上都還比較準確。但在GTAV數據上的MAE值比在實車數據上要低一些，這可能是由于GTAV的數據量較多點，包含高速數據，數據場景比較簡單，更加容易擬合。

　　4.2輔助任務模型

　　我們從輔助任務語義分割方面對端到端深度學習自動駕駛分支網絡模型分別在虛擬仿真GTAV數據和實車采集的數據上做了實驗，主要讓模型學會對場景進行理解，關注對當前控制決策起到重要作用的關鍵信息，比如若理解場景，檢測出前方車輛則模型可能會以較大的方向盤轉角繞開;若在前方有可行駛區域或沒有目標則模型會較好地沿車道線行駛，進行車道保持。

　　無論在GTAV數據還是在實車數據上，端到端自動駕駛分支網絡模型在車道保持與避障繞開上，增加語義分割輔助任務的方向盤轉角與速度的MAE值比不加輔助任務的值都要低，這說明了語義分割輔助任務會讓模型學會對場景進行理解，關注重要信息，最終能讓端到端自動駕駛模型會做出更加正確的決策。

　　4.3實車測試

　　在前面幾小節已通過MAE離線測試評價指標驗證了我們端到端自動駕駛分支網絡模型的效果，通過實驗與離線測試發現，CNN+LSTM分支網絡結構+語義分割輔助任務方法的離線測試結果較好。由于我們研究的終極目標是在真實車輛真實道路的自動駕駛，為進一步驗證網絡模型的有效性，我們在廣汽傳祺GE3純電動車上搭載我們自動駕駛測試平臺，主要采用Nvidia的px2硬件平臺。

　　我們主要選取廣州市國際生物島進行實車測試，測試場景相對而言較簡單，少車少人，具備一定的測試條件。CNN+LSTM分支網絡結構+語義分割輔助任務的端到端自動駕駛模型在車道保持與遇到障礙物繞行上都能以較高的概率完成駕駛行為。在測試中也發現在模型訓練中加入左右攝像頭的負樣本在一定程度上能改善累積誤差的問題。

　　5結語

　　本文主要設計了一種魯棒性的CNN+LSTM分支網絡結構+語義分割輔助任務的端到端自動駕駛網絡架構，能有效地解決同時車道保持與避障難題。通過實驗在自動駕駛模擬器GTAV和實車數據上離線驗證了該網絡架構的有效性，也在真實道路真實車輛上進行了在線測試。由于當前采集的數據量不多，只是在簡單的少車少人場景中進行了測試。

　　后續，我們會采集自動駕駛中的各種場景的大規模數據，來提升模型處理復雜路況的能力。由于我們當前模式信息是通過人為控制，未來我們將引入副駕駛自動判斷模式信息是否介入。同時，通過嘗試各種最先進的方法對當前分支網絡架構進行不斷優化。比如當前網絡模型缺乏大量類似駛離車道等負樣本，我們會嘗試數據合成技術，在自動駕駛虛擬仿真平臺上生成負樣本用于現實世界中。總之，我們會繼續在端到端自動駕駛這條技術路上不斷前進。

　　參考文獻：

　　[1]H.ZHANG,A.Geiger,R.Urtasun.Understandinghigh-levelsemanticsbymodelingtrafficpatterns[C].ProceedingsoftheIEEEInternationalConferenceonComputerVision,2013:3056-3063.

　　[2]段朦.基于深度學習的行人再識別技術研究與實現[D].江蘇：南京郵電大學,2018.

　　[3]李永波.基于結構稀疏模型學習的圖像重構方法[D].陜西：西安電子科技大學,2018.

　　[4]耿新力.城區不確定環境下無人駕駛車輛行為決策方法研究[D].安徽：中國科學技術大學,2017.

　　[5]C.CHEN,A.Seff,A.Kornhauser,J.XIAO.Deepdriving:Learningaffordancefordirectperceptioninautonomousdriving[C].ProceedingsoftheIEEEInternationalConferenceonComputerVision,2015:2722-2730.

　　[6]M.Bojarski,D.DelTesta,D.Dworakowski,B.Firner,B.Flepp,P.Goyal,L.D.Jackel,M.Monfort,U.Muller,J.ZHANG,etal.Endtoendlearningforself-drivingcars[J].arXivpreprintarXiv,2016(04):07316.

　　[7]XUH,GAOY,YUF,etal.End-to-endlearningofdrivingmodelsfromlargescalevideodatasets[J].arXivpreprint,2017.

　　電子類刊物推薦：西安電子科技大學學報發揮我校的學術優勢，反映國內外高質量、高水平的最新科研成果，體現通信與電子信息特色，擴大學報的影響，促進國內外學術交流，熱心培養學術人才，為"科教興國"和"科教興校"服務。榮獲陜西省優秀期刊、曾13次榮獲省部級優秀期刊榮譽和優秀編輯質量獎;2006年榮獲首屆中國高校優秀科技期刊獎，《物理學、電技術、計算機及控制信息數據庫》教育部優秀高校學報。