專家介紹

王冠是蔚來汽車首位機器學習工程師，參與設計了蔚來汽車目前所有機器學習項目，開發了其中主要部件。曾任LinkedIn資深數據科學家，最早把機器學習引入LinkedIn商業分析部，并幫助團隊從3人擴展至70人。王冠博士畢業于UIC，師從Philip Yu進行數據挖掘和機器學習的研究工作，并在KDD，ICDM，WWW，ICDE，CIKM等會議上發表十余篇論文。

汽車的體系結構

汽車的體系結構主要包括了車載電腦、傳感器、控制器和車載網絡。

1.車載電腦

車載電腦主要有CPU，隨著深度學習更多參與到車內計算，還會有GPU，以及FPGA、ASIC等專屬的電子單元和芯片，滿足計算需求的同時照顧到汽車自身特性。不同于我們使用的電腦硬件，汽車的CPU、GPU對散熱和功耗有更為嚴格的需求，需經過額外的測試，以符合車規標準。然后還有data BUS（數據總線）在車內傳送數據信息。另外，車載電腦的存儲器在下一代汽車的性能將更高，據估計，汽車全部傳感器運作收集數據一小時的話能達到1~2TB的數據量。

下圖展示的Udacity的自動駕駛試驗車的改裝造價達到二三十萬美元或者更多，不過這里面的軟硬件未達到車規標準，還需要把后備箱的很多設備縮減在一個電路板上，這樣的試驗車距離量產還有很遠距離。NVIDIA正在做一些集成電路板的工作，比如此前發布的DRIVE CX的車載娛樂系統和DRIVE PX2的自動駕駛系統，不過這樣的芯片仍未達到車規，還在不斷地迭代中。

當前芯片硬件的發展需要和深度學習方面的進展相匹配，適應和優化計算需求，使其固化在芯片上。然后科研人員再利用這樣的開發板進行測試，這樣的方式要比Udacity的試驗車進一大步。

車廠也要和芯片公司形成協同開發的流程：汽車搭載芯片上路獲取數據，再反饋給芯片或算法公司，有利于技術更有效地實現升級更迭，這將是個較長的過程。

2.傳感器

下圖是Uber的試驗車。頂上轉的那個是激光雷達，頂上盒子里應該裝的是高精度GPS。這兩個東西都很貴，應該都比車本身還貴。攝像頭一般裝在車輪上沿的車身四周，有的有三個，有的有八個，覆蓋360度。和攝像頭類似位置的還有聲納等傳感器。這里主要談一下攝像機。

汽車搭載的攝像機并不是封裝集成好的，只是鏡頭和一些光學器件，需要自己在芯片內存里寫程序。攝像機會有各種各樣的性能要求，比如在白天光線很強的時候攝像頭曝光不能過高，晚上則需要夜視功能，有些時候還要有視角很廣的魚眼相機。如此一來就需要有好幾個攝像頭，每個攝像頭還來自不同的供應商，功能不同，車廠需要自己去組裝安排，接入車載電腦實時處理，工程量很大，對軟件開發要求也很高。當然也有供應商提供整套解決方案，不過那樣的話定制化周期就會很長。

3.車內網絡

當前無論是奔馳這樣的高端車，還是豐田、本田這種中低端汽車的網絡結構都非常簡單，相當于六七十年代網絡的水平。首先是不安全：現在車載網絡的數據還沒有加密，任何一個指令發出（比如升降車窗的指令），其他的控制器都能收到；其次是網絡慢、帶寬低，當前的車載網絡根本無法滿足自動駕駛數據流的需求；然后是容錯性（可靠性），某個通信節點的損壞不應影響整體。因此自動駕駛需要有更安全、滿足高數據流、與云端可靠連接的網絡結構。

控制器的話比較成熟，比如設定汽車轉向多少度，通過數字模擬信號已經能較好地實現汽車控制。

此外需要談一下汽車的冗余性，Waymo非常注重這一點，會將子系統設計兩套，一旦發生損壞汽車也能夠安全地實現自我搶救。分享嘉賓曾經在Waymo的一次demo上，看過工程師在汽車自動駕駛過程中剪斷了一條供電的線路，車子判斷系統異常，啟動應急機制，并且自動安全地停在了路邊。未來更智能的車里，這個冗余性非常重要。

自動駕駛的基本組成

自動駕駛主要分為四個部分：Localization（定位）、Perception（感知）、Planning（規劃）以及Control（控制），以下主要對前三者進行解讀。

1.定位

定位簡單講就是解決“在哪里”的問題，需要借助激光雷達、攝像頭等傳感器反復上路收集數據構建高精地圖。當然其中也有一些問題：激光雷達價格當前還是居高不下，發射的點云比較稀疏，很難去區分和識別目標物體。點云的彌補辦法就是同一條道路反復跑很多遍，直到覆蓋的點云數據足夠密集；或者與攝像頭結合，利用攝像頭的目標識別能力選擇性地向物體發射和收集點云數據。

攝像頭的校準也是大問題。一般攝像頭有內部校準和外部校準，其中內部校準一般在攝像頭出廠時已設定好，比如說焦距，外部校準則是指通過照相來精確定位攝像頭在汽車的安裝位置，實現較難。汽車攝像頭在安裝過程很難避免誤差產生，導致其所在位置和設定好的坐標軸不匹配，汽車感知系統因而出現偏差。現在有自動校準技術來使攝像頭一定程度上實現自我矯正，比如利用Visual Odometry技術和幾種濾波器（kalmanfilter，particle filter等等），但仍不太能滿足要求。實際量產中多數為半自動程序糾正，影響了量產效率。

假設在有高精地圖，和校準了的傳感器的前提下，定位是可以很好的解決的。還可以通過自身定位和歷史數據來生成所走路線的地圖。這就是SLAM技術要做的事。不過其算法還未達到自動駕駛的需求，對GPS的精度要求也很高。

所以“做地圖”和“用地圖來自動駕駛”是兩個不同的工程，但是它們又相輔相成。而機器學習特別是下面要談的感知技術又是這兩個工程都不可或缺的重要組成部分。

2.感知

感知部分深度學習使用較多，進行目標識別和檢測。但當前感知仍是淺層的，實際的檢測準確率也只有70~80%。比如多數系統只能識別目標是車，但是不理解不同的車型會影響我們的駕駛判斷。比如消防車、醫護車還是警車在旁邊的時候，或者它們信號燈開閃的時候，我們的駕駛行為是要做出改變的，而自動駕駛算法還未做到這點。

另外，有些物體是可以忽略的，比如小的紙箱子，有些不能忽略，比如石頭，現在的物體識別還沒做到可以理解這些含義的地步。再舉個例子，鏡子里的車也會被認為是真車。所以，理解這些物體的“物理意義”將是深度學習需要解決的難題，這屬于另一個范疇，這里不展開談了。

此外，重要的tracking（目標跟蹤）技術當前也發展不足。傳統使用的卡爾曼濾波器能夠根據周邊汽車在1~2秒短時間內近乎勻速的運動大概估計其速度信息，基于深度學習的tracking依靠以往的訓練數據跟蹤和預判汽車軌跡，但效果比前者還是差一些，不夠成熟。

3.規劃

汽車實現定位、感知，需要進一步規劃接下來的駕駛行為。規劃（planning）主要分為以下幾類：

Route planning（路徑規劃）是指宏觀層面為汽車設定駕駛路線，類似于我們手機里的地圖，輸入起點終點，規劃一條路徑，該技術當下已經非常成熟，并實現了毫秒級的響應；微觀的behavior planning（行為規劃）則根據對周邊態勢的感知預測來決定是否進行轉向、加減速的動作；Motion planning（運動規劃）粒度更細，規劃汽車短時間內的轉向角度、加速度變化等。

行為規劃是難點。而行為規劃又分成1～2秒的規劃，和30秒左右的規劃。

1～2秒內汽車的路徑規劃可以利用RRT（快速搜索隨機樹）或CC-RRT（可理解為概率計算+RRT算法）技術，通過機器學習系統感知周圍物體并預測其未來分布位置的概率，為了降低撞到其他物體的幾率，汽車會通過樹狀搜索規劃出一條即時路徑。做CC-RRT最好的是MIT的一個實驗室。CC-RRT的作者在其MIT博士畢業之后去了Google做自動駕駛的path planning的負責人。所以今天Waymo的系統很可能就是那樣做的。不過以上只針對1~2秒的行為判斷，30秒的提前預判目前還未解決，處于萌芽狀態。

當前很多車廠在路徑規劃上的做法仍是基于人工的規則系統進行的，事先設定上千條可預期的駕駛規則，避免常見事故，但交通場景千變萬化，基于規則設定是無法覆蓋全部場景的。

自動駕駛中的機器學習

機器學習在自動駕駛中覆蓋到很多方面，包括定位，感知，決策的很多細節。這里就其中決策規劃的重要部分進行分享，很多科研工作取得了很好的進展，但是還沒有到人工智能能夠獨立控制開車的地步。

大家都知道開車積累的圖像數據要為機器學習所用，需要對每幀圖像中的目標物體、可駕駛區域和駕駛路徑的變化都需要進行標注，幫助機器學習后期在感知、預測、行為規劃的訓練，使算法能夠在以后自主對未處理圖像進行標注判斷。

訓練機器學習系統當前有幾類模型，比如Behavior cloning（行為復制），是利用CNN（卷積神經網絡）和LSTM（長短期記憶網絡），學習以往的駕駛數據來應對以后發生的類似場景。但面對沒遇到的場景時該模型將難以應對。

另一方案是將人類的駕駛數據輸入GAN（生成式對抗網絡）進行訓練，自我生成可比擬人類駕駛的行為數據，放入LSTM中，根據歷史行為輸出未來可能的駕駛行為，使系統具備預測能力。這方面目前斯坦福有個實驗室做了很多工作，但該研究仍處于萌芽狀態，離應用到量產車上仍有很大距離。

結合之前討論的內容，如果以機器學習系統來指導汽車自動駕駛，現在還處于非常初級的階段。相對較好的還是通過機器學習進行目標識別、感知、預測，再使用機器人技術（CC-RRT）搜索和規劃路徑。