今年 10 月，跳票已久的 Autopilot V9 版本終于落地，Musk 吹過的牛也在一步步實現。媒體上關于 Autopilot V9 的溢美之詞不絕于耳，但卻沒人能從技術角度說說這次的 V9 到底牛在哪里。好在民間有大神，在特斯拉論壇上，就有一位神經網絡從業者對 V9 進行了深入剖析。看完他的分析，你對 Musk 的崇拜恐怕要再多幾分。

　　記者對神經網絡工程師 jimmy-d 的論壇發言進行了整理和編譯，各位讀者可千萬別錯過這份營養滿滿的技術大餐。

　　統一的攝像頭網絡讓 8 顆攝像頭火力全開

　　與前一個版本的 V8 類似，我認為 V9 的神經網絡中也用到了“攝像頭網絡”，它能直接處理來自攝像頭的輸出。當然這還不夠，特斯拉還準備了一套“后置處理網絡”，它能將“攝像頭網絡”生成的數據變成更高級別的抽象，而且已經擁有了可操作性。與 V8 相比，V9 有了巨大的躍升。

　　這個“攝像頭網絡”到底強大到什么地步呢？

　　它能一次控制 8 顆攝像頭。需要注意的是，V9 上所有攝像頭采集的圖片和視頻權重都是一樣的（V8 有所不同，不同攝像頭采集的數據重要程度不同）。

　　具體來說特斯拉這 8 顆攝像頭：

　　前置的 3 顆與后置的 1 顆處理分辨率均為 1280x960（釋放了攝像頭的最高分辨率）；

　　剩下的 4 顆攝像頭則用了 640x480 的處理分辨率（其實這 4 顆攝像頭與前后那 4 顆最高分辨率相同，但在這里只用到了其分辨率的四分之一）。

　　*注：特斯拉的 8 顆攝像頭包括 3 顆前置攝像頭，它們中有一顆是窄視角攝像頭，覆蓋范圍可達 250 米，一顆是中程攝像頭（主攝像頭），能看 150 米遠，另一顆則是廣角攝像頭，但覆蓋范圍僅 60 米。另外車尾還有 1 顆攝像頭，剩下 4 顆則對稱安裝在車輛轉向燈下放和 B 柱上。

　　除此之外，這 8 顆攝像頭均升級到了 3 條色彩通道（紅綠藍 3 條色彩通道），且用上了雙層架構設計。與其相比，V8 上的 2 條色彩通道（紅綠 2 條色彩通道）+單層架構設計就寒酸多了。而且別忘了，V8 的攝像頭分辨率只有 640x416，且只有主攝像頭和窄視角攝像頭有這“待遇”。

　　傳聞稱 V8 的多個版本也給那 4 顆比較“閑”的攝像頭配備了神經網絡，但它到底派沒派上用場恐怕只有特斯拉內部人員才知道。

　　可以肯定的是，V8 時代 Autopilot 駕駛時只用到了主攝像頭和窄視角攝像頭，而那顆前置廣角攝像頭是用來感應雨水的。不過在 V9 上，這 8 顆攝像頭確實是火力全開。

　　除了擺脫攝像頭“閑置”的罵名，V9 的神經網絡處理能力還大幅提升。拿主攝像頭來說，1280x960 的分辨率與 3 條色彩通道和雙層架構設計疊加，每幀文件大小就能達到 1280x960x3x2 字節，換算過來就是 7.3 M。反觀 V8 的主攝像頭，每幀輸入只有 0.5 M，數據量是 V9 的1/13。

　　與谷歌的 Inception V1 神經網絡相比（兩者用了類似的底層架構概念），V9 的攝像頭網絡規模要大上 10 倍，算力更是提升了 200 倍。

　　雖然側方的 4 顆攝像頭分辨率只有主攝像頭的1/4，但 8 顆攝像頭火力全開，13 倍的數據輸入量雖然加大了 ECU 的壓力，但也能提供更為精細的物體細節。

　　更為有趣的是，攝像頭接口發生了改變，V9 上每一幀都是成對處理。不過，這些成對處理得畫面還是有時間偏差的，延遲大致在 10-100 毫秒，這樣才能呈現出動作，而動作能提供深度信息并將物體從背景中分離出來，幫助車輛識別并預測物體軌跡（包括車輛自己的軌跡）。

　　對系統的基礎感知來說，這個升級至關重要。

　　圖像處理網絡效率大躍升

　　在 V8 上，主攝像頭和窄視角攝像頭用了相同的架構，但權重有差異。

　　這點并無問題，畢竟兩顆攝像頭有完全不同的視場。分別訓練兩顆攝像頭會大大降低物體識別的難度，同時神經網絡的規模和訓練量也會有所下降。不過這也意味著你必須打造兩個不同的訓練數據集并分別對它們進行評估，而且在運行時兩個不同的神經網絡還要交替上線。

　　在 V9 上，特斯拉則用上了獨立的圖像處理網絡（Camera Agnostic，意為獨立于攝像頭），它能在相同權重下處理任何攝像頭的輸出數據。同時也能解決 V8 上神經網絡的問題并提升其穩定性。

　　這種解決方案也意味著神經網絡必須更了解物體到底長什么樣，無論鏡頭畸變有何不同（畸變無法用物理方式修復）。此外，獨立的圖像處理網絡很燒錢，因為它需要大量的訓練、海量的數據庫和一個規模龐大的神經網絡。

　　當然，特斯拉選擇這樣一個解決方案也不是為了給自己找麻煩。這套獨立的圖像處理網絡在計算效率上有了較大提升。當它只需要依照一個權重時，就不用頻繁在 GPU 中寫入各種數據。更重要的是，你可以在一個數據集的框架下大批量處理各種攝像頭采集的圖像了。這樣一來，同等的硬件就能獲得性能加成。

　　我從來沒想過有廠商愿意搞這種獨立的圖像處理網絡，特斯拉真給力！

　　怪物級別的神經網絡

　　如果要用一個詞形容 V9 的神經網絡，恐怕你腦海里第一個蹦出來的詞是怪物，但事實上它比怪物還要強悍。當你將神經網絡里的一個權重乘以 5，就會發現你得到的不只是 5 倍的能力提升。

　　在表達能力上，神經網絡的提升服務更是幾何級的。打個比方，如果 V8 的表達能力是 10，那么 V9 就是 100000，絕對是爆炸性的性能飛躍。不過，想用好這個性能飛躍，就需要訓練數據也配合著增加，你“喂給”神經網絡的數據量可能是原來的數百萬倍。

　　（*注：其實數據方面特斯拉并不擔心，畢竟和 Waymo 相比，它們奔跑在路上的車輛要多得多。數據顯示，2016 年年底特斯拉售出車型的行駛里程已經高達 35 億英里，隨著大量 Model 3 入役，想必 Musk 的數據庫都快塞不下這些數據了，而時不時就實現一個里程碑的 Waymo 才累積了 1000 萬英里的路測歷程。）

　　簡單來說，這套神經網絡比我見過的任何視覺神經網絡都要龐大，只是想想它需要的學習數據我都感覺不可思議。為了萬無一失我甚至算了很多遍，但最終我驚奇的發現，限制我的并非計算方法，而是我的想象力。

　　V9 神經網絡上的變化讓車輛有能力識別任何方向上的每個物體，其探測距離甚至能達到數百米。同時，它還能抓住這些物體的瞬間動作。如果考慮到攝像頭視場的重疊，每出現一個物體，至少會被兩顆攝像頭發現，這就大大提升了車輛安全性。

　　在 V9 上，特斯拉是不是用了半監督學習？特斯拉使用的數據肯定有一部分不帶標簽，畢竟誰能找來這么多人給天量的數據加標簽？

　　在我看來，特斯拉的模擬測試設計師們肯定打造了一臺專門生成數據標簽的機器，不過即使這樣恐怕加了標簽的數據也不夠用。而且，特斯拉去哪找這么狂暴的數據中心來訓練神經網絡呢？難道 Musk 是谷歌背后的神秘人，能從 Larry Page 那弄來一整個倉庫的 TPU？

　　也許 Musk 又在醞釀什么神秘的殺手锏了。

　　總而言之，在 V9 上我看到了特斯拉的能力和野心。

　　特斯拉總是能實現業內專家都無法想象的進步，這種通過改進“放大”計算能力、訓練數據和產業資源的能力是特斯拉的核心競爭力之一，同時也降低了未來研發路上的不確定性。

　　從這個角度來看，特斯拉的“視覺優先/全神經網絡”模式確實前程遠大。作為一名神經網絡界的從業人員，我為特斯拉感到驕傲。