自動駕駛將駛向何方？大模型（World Models）自動駕駛綜述

前言自動駕駛系統(tǒng)的開發(fā)是一個技術與哲學的雙重挑戰(zhàn)，核心在于模擬人類的直覺推理和常識。盡管機器學習在模式識別上取得了進展，但在復雜情境下仍存在局限。人類決策基于感官感知，但能預見行動結果和預判變化，這是機器難以復制的。
世界模型是解決這一差距的關鍵，它模仿人類的感知和決策，使系統(tǒng)能預測和適應環(huán)境。這一概念從70年代的控制理論發(fā)展而來，與模型預測控制（MPC）緊密相關，并受到心理模型理論的支持。神經(jīng)網(wǎng)絡的發(fā)展，尤其是循環(huán)神經(jīng)網(wǎng)絡（RNN），為動態(tài)系統(tǒng)建模提供了新深度，促進了對環(huán)境交互的理解。
2018年，Ha和Schmidhuber提出世界模型，使用混合密度網(wǎng)絡和RNN提取環(huán)境數(shù)據(jù)模式，標志著自動系統(tǒng)對其操作環(huán)境理解的突破。在自動駕駛領域，世界模型的引入是向數(shù)據(jù)驅(qū)動智能的轉(zhuǎn)變，解決了數(shù)據(jù)稀缺問題，增強了模擬環(huán)境中訓練的能力，預示著自動駕駛汽車將具備更復雜的預測和響應能力。

在自動駕駛領域，世界模型的引入標志著向數(shù)據(jù)驅(qū)動智能的關鍵轉(zhuǎn)變，在這種智能中，預測和模擬未來情景的能力成為安全和效率的基石。數(shù)據(jù)稀缺性問題，特別是在如鳥瞰圖（BEV）標注等專業(yè)任務中，突顯了世界模型等創(chuàng)新解決方案的實際必要性。通過從歷史數(shù)據(jù)中生成預測情景，這些模型不僅規(guī)避了數(shù)據(jù)收集和標注帶來的限制，還增強了在模擬環(huán)境中訓練自動系統(tǒng)的能力，這些環(huán)境可以反映甚至超越現(xiàn)實世界條件的復雜性。這種方法預示著一個新時代的到來，在這個時代，自動駕駛汽車具備反映某種直覺的預測能力，使它們能夠以前所未有的復雜程度導航和響應其環(huán)境。
歡迎加入自動駕駛實戰(zhàn)群

世界模型的發(fā)展世界模型的架構是一個復雜的系統(tǒng)，它嘗試模仿人類大腦在認知和決策方面的功能。
世界模型的架構基礎：

感知模塊：作為系統(tǒng)的感官輸入，使用如變分自動編碼器（VAE）、掩碼自動編碼器（MAE）和離散自動編碼器（DAE）等先進技術，將復雜的環(huán)境輸入轉(zhuǎn)化為易于處理的格式。這個模塊對于準確捕捉環(huán)境特征至關重要。
記憶模塊：類似于人類的海馬體，負責記錄和存儲信息，包括短期和長期記憶。它通過重放經(jīng)歷來加強學習，并將過去的經(jīng)驗應用于未來的決策中，從而加深對環(huán)境動態(tài)的理解。
控制/行動模塊：負責與環(huán)境的互動，評估當前狀態(tài)和預測，以確定實現(xiàn)目標的最佳行動。這個模塊的獨立訓練允許使用不同的策略，如進化策略，來解決復雜的強化學習問題。
世界模型模塊：作為系統(tǒng)的核心，負責估計當前狀態(tài)的缺失信息和預測未來狀態(tài)。它通過模擬潛在的未來場景，使系統(tǒng)能夠主動準備和調(diào)整策略，體現(xiàn)了人類認知中的預測和適應性思維。


世界模型的應用：

在處理高維感官輸入時，世界模型利用潛在動態(tài)模型來抽象表示觀測信息，允許在潛在狀態(tài)空間內(nèi)進行緊湊的前向預測。這種方法利用深度學習和潛在變量模型的進步，實現(xiàn)高效的并行預測。
世界模型通過潛在變量來表示不確定性，這在處理真實世界動態(tài)的不可預測性時尤為重要。例如，在汽車在交叉路口的不確定性場景中，潛在變量幫助模型設想基于當前狀態(tài)的各種未來可能性。
世界模型需要在預測的確定性與真實世界現(xiàn)象的固有不確定性之間找到平衡。這種平衡對于模型在復雜環(huán)境中的有效性至關重要，確保了模型能夠靈活應對各種情況。
這個任務的核心在于在預測的確定性方面與真實世界現(xiàn)象的固有不確定性之間實現(xiàn)平衡，這一平衡對世界模型的有效性至關重要。
為了解決這一挑戰(zhàn)，提出了各種策略，從通過溫度變量引入不確定性到采用結構化框架，如遞歸狀態(tài)空間模型（RSSM）和聯(lián)合嵌入預測架構（JEPA）。這些方法力求微調(diào)預測的精度和靈活性之間的平衡。此外，利用Top-k采樣以及從基于CNN的模型過渡到變壓器架構（如變壓器狀態(tài)空間模型（TSSM）或空間時間Patchwise變壓器（S?TPT）），在更好地近似真實世界的復雜性和不確定性方面顯示出潛力。
特別是在世界模型研究中最常使用的核心結構是RSSM和JEPA：
遞歸狀態(tài)空間模型（RSSM）：
作為Dreamer系列世界模型中的關鍵模型，旨在完全在潛在空間內(nèi)進行前向預測。這一創(chuàng)新結構使模型能夠通過潛在狀態(tài)空間進行預測，其中轉(zhuǎn)移模型內(nèi)的隨機路徑和確定路徑在成功規(guī)劃中起到關鍵作用。
圖3展示了跨三個時間步的潛在動態(tài)模型的示意圖。最初觀察兩個時間步，這些模型隨后預測第三個時間步。在這里，模型架構內(nèi)的隨機變量（圓形）和確定變量（方形）相互作用——實線表示生成過程，虛線表示推理路徑。圖3a中的初始確定推理方法揭示了其因固定性質(zhì)而難以捕捉多樣化潛在未來的局限性。相反，圖3b中的完全隨機方法由于其固有的不確定性，在時間步之間的信息保留方面提出了挑戰(zhàn)。RSSM的創(chuàng)新在于其戰(zhàn)略性地將狀態(tài)分解為圖3c中的隨機和確定性組件，有效地利用確定元素的預測穩(wěn)定性和隨機元素的適應潛力。這種混合結構確保了強大的學習和預測能力，既能適應現(xiàn)實世界動態(tài)的不確定性，又能保持信息連續(xù)性。通過結合RNN的優(yōu)勢和狀態(tài)空間模型（SSM）的靈活性，RSSM為世界模型建立了一個全面的框架，增強了其在精度和適應性之間的平衡。

聯(lián)合嵌入預測架構（JEPA)：
在預測建模中標志著范式轉(zhuǎn)變，專注于表示空間而非直接、詳細的預測。通過雙編碼器將輸入（x）和目標（y）抽象為表示（sx和sy），并利用潛在變量（z）進行預測，JEPA在效率和準確性上實現(xiàn)了顯著飛躍。該模型在過濾噪音和無關信息方面表現(xiàn)出色，專注于預測任務的本質(zhì)。戰(zhàn)略性地使用潛在變量（z）管理不確定性，進一步提高了模型的專注力，使其能夠以更高的精度預測抽象結果。通過優(yōu)先考慮相關特征并接受預測任務的內(nèi)在不確定性，JEPA不僅簡化了預測過程，還確保了結果既相關又可靠，為復雜環(huán)境中的世界模型的下一步發(fā)展鋪平了道路。
這些策略共同增強了世界模型在高維和動態(tài)場景中的適應性和精度，使其能夠更好地反映真實世界的復雜性和不可預測性。這種多樣化的策略融合通過先進的神經(jīng)網(wǎng)絡架構和創(chuàng)新的潛在變量模型為世界模型提供了強大的基礎，提升了其在模擬和決策中的表現(xiàn)力。

世界模型在不同研究中的應用自動駕駛：
在自動駕駛領域，世界模型通過模擬車輛在各種交通環(huán)境中的行為和互動來增強決策和規(guī)劃能力。它們能夠預測其他車輛、行人和動態(tài)環(huán)境變化，從而幫助自主系統(tǒng)做出更安全、更高效的駕駛決策。例如，在無人駕駛汽車項目中，世界模型可以預測交通流量、路況變化以及潛在的風險因素，使車輛能夠提前做出反應，避免事故和優(yōu)化行駛路徑。
機器人控制：
在機器人控制中，世界模型通過模擬機器人在不同任務和環(huán)境中的行為，增強其自主性和適應能力。通過感知和記憶模塊，機器人能夠?qū)W習和記住復雜的任務流程，并通過預測模塊預見潛在的任務挑戰(zhàn)，從而調(diào)整其行動策略。例如，在倉庫管理中，機器人可以通過世界模型優(yōu)化貨物搬運路徑，提高工作效率和準確性。
游戲AI：
在游戲AI開發(fā)中，世界模型通過模擬復雜的游戲環(huán)境和角色行為，提升了游戲的智能和互動性。通過感知和預測模塊，游戲AI能夠?qū)崟r分析玩家的行為和決策，并相應調(diào)整游戲策略，提供更具挑戰(zhàn)性和沉浸感的游戲體驗。例如，在策略游戲中，世界模型可以預測玩家的下一步行動，并相應調(diào)整游戲難度和資源配置，提升游戲的娛樂性和可玩性。
醫(yī)療診斷：
在醫(yī)療診斷領域，世界模型通過模擬患者的病情變化和治療效果，輔助醫(yī)生做出更準確的診斷和治療決策。通過感知和記憶模塊，模型能夠記錄和分析大量患者數(shù)據(jù)，識別潛在的疾病模式和風險因素，并通過預測模塊預見疾病的發(fā)展趨勢，從而優(yōu)化治療方案。例如，在癌癥治療中，世界模型可以模擬不同治療方法的效果，幫助醫(yī)生選擇最有效的治療方案，提高患者的生存率和生活質(zhì)量。


世界模型的未來方向和挑戰(zhàn)盡管世界模型在多個領域表現(xiàn)出巨大的潛力，但其發(fā)展和應用仍面臨一系列挑戰(zhàn)和未來方向：
數(shù)據(jù)的多樣性和質(zhì)量：
世界模型依賴大量高質(zhì)量的數(shù)據(jù)進行訓練和測試。然而，獲取和處理這些數(shù)據(jù)往往需要耗費大量時間和資源。未來的發(fā)展需要在數(shù)據(jù)收集、標注和處理方面取得突破，確保模型能夠從多樣化和高質(zhì)量的數(shù)據(jù)中學習，提升其預測和決策能力。
模型的可解釋性：
世界模型的復雜性使其決策過程難以解釋和理解。這在某些應用場景（如醫(yī)療診斷和自動駕駛）中可能帶來潛在風險。未來的研究需要致力于提高模型的可解釋性，開發(fā)透明和可理解的決策機制，使用戶能夠信任和理解模型的行為。
計算資源的需求：
訓練和運行世界模型需要大量的計算資源，特別是在處理高維數(shù)據(jù)和復雜場景時。未來的發(fā)展需要在硬件和算法方面取得進展，優(yōu)化計算效率和資源利用，使世界模型能夠在有限的計算資源下高效運行。
跨領域的應用：
世界模型的潛力不僅限于當前的應用領域。未來的研究應探索其在更多領域中的應用，如教育、金融和環(huán)境保護等，發(fā)揮其在復雜決策和預測中的優(yōu)勢，為更多行業(yè)帶來創(chuàng)新和變革。
世界模型在自動駕駛中的應用作為世界模型應用的新興前沿，自動駕駛領域在場景生成和規(guī)劃與控制機制方面展現(xiàn)了獨特的挑戰(zhàn)和機遇，這些領域正是探索和創(chuàng)新的沃土。盡管興趣日益增加，世界模型在自動駕駛中的整合主要集中在場景生成和規(guī)劃與控制機制。

A. 駕駛場景生成在自動駕駛數(shù)據(jù)獲取方面面臨著重大挑戰(zhàn)，包括高昂的數(shù)據(jù)收集和標注成本、法律限制以及安全考量。世界模型通過自監(jiān)督學習范式，提供了一種有前途的解決方案，可以從大量未標記數(shù)據(jù)中提取有價值的見解，從而以成本效益提升模型性能。世界模型在駕駛場景生成中的應用尤為值得注意，因為它能夠創(chuàng)建多樣化和逼真的駕駛環(huán)境。這種能力顯著豐富了訓練數(shù)據(jù)集，使自主系統(tǒng)具備在稀有和復雜駕駛場景中導航的穩(wěn)健性。
GAIA-1是一個新穎的自主生成AI模型，能夠使用視頻、文本和動作輸入生成逼真的駕駛視頻。GAIA-1在英國城市的實際駕駛數(shù)據(jù)上進行了廣泛訓練，學習并理解了一些真實世界的規(guī)則和關鍵概念，包括不同類型的車輛、行人、建筑物和基礎設施。它可以基于幾秒鐘的視頻輸入預測和生成后續(xù)的駕駛場景。值得注意的是，生成的未來駕駛場景并不緊密依賴于提示視頻，而是基于GAIA-1對世界規(guī)則的理解。GAIA-1核心采用自回歸變壓器網(wǎng)絡，基于輸入圖像、文本和動作令牌預測即將發(fā)生的圖像令牌，然后將這些預測解碼回像素空間。GAIA-1可以預測多個潛在的未來，并基于提示生成多樣的視頻或特定的駕駛場景（例如改變天氣、場景、交通參與者、車輛動作），甚至包括其訓練集中不存在的動作和場景（例如強行進入人行道）。這表明其能夠理解和推斷訓練集中未出現(xiàn)的駕駛概念，也證明了其反事實推理能力。在現(xiàn)實世界中，這種駕駛行為由于其風險性難以獲取數(shù)據(jù)。駕駛場景生成允許模擬測試，豐富數(shù)據(jù)構成，增強系統(tǒng)在復雜場景中的能力，并更好地評估現(xiàn)有的駕駛模型。此外，GAIA-1生成連貫的動作，有效捕捉3D幾何結構的透視影響，展示了其對上下文信息和物理規(guī)則的理解。結合其反事實推理能力，可以說GAIA-1在自動駕駛世界模型中達到了高水平，無論在抽象概念的理解還是因果推理方面。
DriveDreamer也專注于駕駛場景生成，不同于GAIA-1，它在nuScenes數(shù)據(jù)集上進行了訓練。其模型輸入包括更多元素，如高清地圖和3D框，允許更精確地控制駕駛場景生成和更深入的理解，從而提高視頻生成質(zhì)量。此外，DriveDreamer可以生成未來駕駛動作及相應的預測場景，幫助決策。
ADriver-I使用當前的視頻幀和歷史的視覺-動作對作為多模態(tài)大型語言模型（MLLM和視頻潛在擴散模型（VDM）的輸入。MLLM以自回歸方式輸出控制信號，作為VDM預測后續(xù)視頻輸出的提示。通過連續(xù)的預測周期，ADriver-I在預測世界中實現(xiàn)了無限駕駛。在ADriver-I中，世界模型與MLLM的結合顯著提高了預測和決策的可解釋性，也表明了將世界模型作為基礎模型與其他模型結合的可行性。
借鑒大型語言模型的成功，WorldDreamer將世界建模視為無監(jiān)督的視覺序列建模挑戰(zhàn)。它利用STPT集中注意力于時空窗口內(nèi)的局部補丁。這種聚焦促進了視覺信號的動態(tài)學習，加速了訓練過程的收斂。盡管WorldDreamer是通用的視頻生成模型，但它在生成自動駕駛視頻方面表現(xiàn)出色。除了視覺信息，駕駛場景還包括大量重要的物理數(shù)據(jù)。MUVO利用世界模型框架進行駕駛場景的預測和生成，結合了激光雷達點云和視覺輸入來預測視頻、點云和未來駕駛場景的3D占用網(wǎng)格。這種綜合方法顯著提高了預測和生成結果的質(zhì)量。尤其是3D占用網(wǎng)格的結果可以直接應用于下游任務。更進一步，OccWorld和Think2Drive直接利用3D占用信息作為系統(tǒng)輸入來預測周圍環(huán)境的演變并規(guī)劃自動駕駛車輛的動作。顯然，隨著研究的進展，自動駕駛領域的場景生成世界模型研究逐漸朝著多模態(tài)方法發(fā)展。世界模型在處理多模態(tài)信息方面展示了多功能性。
B. 規(guī)劃與控制除了場景生成，世界模型在駕駛情境中的學習、潛在未來的評估以及規(guī)劃與控制策略的改進中也起著關鍵作用。例如，基于模型的模仿學習（MILE）采用基于模型的模仿學習方法，從離線數(shù)據(jù)集中聯(lián)合學習動態(tài)模型和駕駛行為。MILE使用“廣義推理算法”進行理性和可視化的未來駕駛環(huán)境的想象和預測，通過想象來彌補感知信息的缺失。這種能力使得未來行動的規(guī)劃成為可能，允許自動駕駛車輛在沒有高清地圖的情況下操作。在CARLA模擬器中的不熟悉測試場景中，MILE顯著超越了最先進的模型，將駕駛評分從46提高到61（相比專家數(shù)據(jù)評分為88）。MILE的特點是長期的時間跨度和高度多樣化的未來預測。通過對預測的未來狀態(tài)進行解碼，MILE在各種場景中展示了穩(wěn)定的駕駛能力。
SEM2在RSSM的基礎上，介紹了語義掩碼世界模型，以提高端到端自動駕駛的采樣效率和魯棒性。作者認為，世界模型的潛在狀態(tài)包含過多與任務無關的信息，影響了采樣效率和系統(tǒng)的魯棒性。此外，由于訓練數(shù)據(jù)的不平衡，世界模型難以處理意外情況。為解決這些問題，引入了一個簽名過濾器來提取關鍵任務特征，使用過濾后的特征重建語義掩碼。對于數(shù)據(jù)不平衡，使用采樣器平衡數(shù)據(jù)分布。在每批訓練中，均勻地添加來自各種場景的樣本，以實現(xiàn)訓練樣本的均勻和平衡分布，有利于泛化和解決極端情況。在CARLA中訓練和測試后，SEM2的性能相比DreamerV2顯著提升。
考慮到大多數(shù)自動駕駛車輛通常有多個攝像頭，多視角建模也是世界模型的關鍵方面。Drive-WM是第一個設計用于增強端到端自動駕駛規(guī)劃安全性的多視角世界模型。Drive-WM通過多視角和時間建模，共同生成多個視角的幀，然后從相鄰視角預測中間視角，顯著提高了多個視角之間的一致性。此外，Drive-WM引入了一個簡單統(tǒng)一的條件接口，靈活應用圖像、動作、文本和其他條件，簡化了條件生成過程。在六個視角的nuScenes數(shù)據(jù)集上訓練和驗證，Drive-WM通過采樣預測的候選軌跡并使用基于圖像的獎勵函數(shù)選擇最佳軌跡。此外，與GAIA-1一致，Drive-WM在非可行駛區(qū)域的導航能力展示了世界模型在處理域外情況方面的理解和潛力。此外，借鑒Alberto Elfes的開創(chuàng)性工作，UniWorld引入了一種創(chuàng)新方法，通過使用多幀點云融合作為生成4D占用標簽的真值。該方法考慮了來自多攝像機系統(tǒng)的圖像中的時空相關性。通過利用未標記的圖像-激光雷達對，UniWorld進行了世界模型的預訓練，顯著增強了對環(huán)境動態(tài)的理解。在nuScenes數(shù)據(jù)集上測試時，UniWorld在運動預測和語義場景完成等任務的IoU方面相比單目預訓練方法表現(xiàn)出顯著改進。
TrafficBots也是一個端到端的自動駕駛模型，更強調(diào)場景中個體代理的動作預測。以每個代理的目標地作為條件，TrafficBots采用條件變分自編碼器（CVAE）學習每個代理的獨特個性，從而促進動作預測從鳥瞰圖（BEV）的角度進行。相比替代方法，TrafficBots具有更快的操作速度，并且可以擴展以容納更多代理。盡管其性能可能尚未達到最先進的開放循環(huán)策略，但TrafficBots展示了閉環(huán)
測試中的顯著潛力，特別是在駕駛場景復雜且包括其他智能體時。
結合這些應用案例，可以看出，世界模型在自動駕駛領域正處于快速發(fā)展階段。通過整合多模態(tài)信息和增強模型的泛化能力，世界模型在豐富自動駕駛系統(tǒng)的訓練數(shù)據(jù)、改進決策和規(guī)劃、提高系統(tǒng)魯棒性等方面展現(xiàn)出廣闊的應用前景。然而，仍有許多挑戰(zhàn)需要克服，包括處理復雜場景中的意外情況、多智能體的協(xié)調(diào)等。未來的研究和應用將進一步推動世界模型在自動駕駛領域的發(fā)展。

挑戰(zhàn)與未來展望A. 技術與計算挑戰(zhàn)1. 從模擬到現(xiàn)實世界的泛化：
模擬訓練環(huán)境與現(xiàn)實世界條件的多樣性之間的差異，構成了自動駕駛技術發(fā)展的關鍵瓶頸。盡管當前的模擬平臺已經(jīng)相當先進，但它們?nèi)詿o法完美再現(xiàn)現(xiàn)實世界場景的不可預測性和變異性。
2. 長期可擴展記憶集成：
在賦予世界模型以長期、可擴展記憶以反映人類認知過程的復雜性方面，依然存在巨大的挑戰(zhàn)。當前的模型面臨諸如梯度消失和災難性遺忘等問題，這嚴重限制了它們的長期記憶能力。
3. 理論與硬件的突破：
世界模型在生成任務中表現(xiàn)出色，但在純粹的預測任務（如運動預測）方面仍顯不足。這部分是因為這些模型尚未完美地模擬現(xiàn)實世界的演變，包括確定性與隨機性之間的平衡。
B. 倫理與安全挑戰(zhàn)1. 決策責任：
確保車輛自主決策框架中的責任成為首要的倫理問題，迫切需要開發(fā)具有前所未有透明度的系統(tǒng)。
2. 隱私與數(shù)據(jù)完整性：
自動駕駛技術依賴大量數(shù)據(jù)進行操作和持續(xù)改進，這帶來了重大的隱私和數(shù)據(jù)安全問題。對于開發(fā)自動駕駛系統(tǒng)的公司而言，收集到的車輛相關數(shù)據(jù)，包括乘客信息等，都需要得到妥善保護。
3. 責任和標準：
隨著世界模型在自動駕駛系統(tǒng)中支持或接管駕駛任務，人類的責任不是減少或消除，而是重新分配給參與創(chuàng)建、部署和使用這些系統(tǒng)的個人和組織。這種轉(zhuǎn)變要求參與者提出新的需求，呼吁新的研究和政策來管理這一轉(zhuǎn)變。
C. 未來展望1. 橋接人類直覺與AI精度：
一個突破性的前景是世界模型向促進自動駕駛汽車內(nèi)認知協(xié)同駕駛框架的發(fā)展。與傳統(tǒng)的完全依賴預定義算法和傳感器輸入進行決策的自動駕駛系統(tǒng)不同，認知協(xié)同駕駛旨在融合人類直覺與AI的精確度。
2. 與城市生態(tài)系統(tǒng)的協(xié)調(diào)：
另一個愿景是世界模型在將自動駕駛汽車轉(zhuǎn)變?yōu)樯鷳B(tài)工程代理方面的作用，通過適應性、響應性的行為來與城市生態(tài)系統(tǒng)和諧共處，促進環(huán)境可持續(xù)性。
總結：世界模型在自動駕駛技術中的應用具有革命性的潛力，它們通過提高車輛的預測、模擬和決策能力，對推動汽車自主性的提升至關重要。盡管目前已經(jīng)有了顯著的發(fā)展，但要實現(xiàn)這些模型在實際場景中的應用，我們?nèi)匀幻媾R著一些挑戰(zhàn)，包括如何整合長期記憶、將模型從模擬環(huán)境泛化到現(xiàn)實世界，以及如何處理與自動駕駛相關的倫理問題。解決這些問題需要跨學科的合作，包括人工智能的最新研究、建立倫理框架和開發(fā)創(chuàng)新的計算技術。
展望未來，隨著世界模型的不斷進步，我們預期它們不僅會推動自動駕駛技術的發(fā)展，還將改變我們與自動化系統(tǒng)的互動方式。這進一步強調(diào)了持續(xù)的跨領域研究和合作的重要性，以確保這些技術的安全、有效和道德發(fā)展。
引用CVPR2024文章：
World Models for Autonomous Driving:
An Initial Survey
最后別忘了，幫忙點“在看”。  
您的點贊，在看，是我創(chuàng)作的動力。

AiFighing是全網(wǎng)第一且唯一分享自動駕駛實戰(zhàn)，以代碼、項目的形式講解自動駕駛感知方向的關鍵技術，從算法訓練到模型部署。