不靠模仿的端到端自動駕駛

TL;DR

• 典範正在從 AV 2.0 換到 AV 3.0:L2++ ADAS 已經收斂到「imitation learning 為底的端到端」並量產,領先者再用開環 RL 做 post-training;下一代預期是在能反應式生成周遭行為與畫面的 world model 裡做閉環 RL——也就是從 AV 2.0 的開環 scaling 轉向 AV 3.0 的閉環 scaling。
• 他們的作法是拆成兩階段:phase 1「learn to drive」用 TerraZero(self-play RL 框架,吞吐量遠高於既有駕駛模擬器)在零人類示範下累積等效 25 個世紀的駕駛經驗;phase 2「learn to see」用 TerraTransfer 把這個 self-play 專家的 latent 與動作,在離線資料集的同一批駕駛情境上對齊給端到端模型。
• 關鍵論點:self-play 閉環 RL 搭配 reactive world model 不只是 post-training 技巧,而是很強的 pre-training 技巧;而 RL 框架與 world model 的吞吐量會是這條路線的決勝因素。

重點整理

為什麼是「不靠模仿」(約 03:02–03:04)

開場定位:端到端自動駕駛是真實世界中第一個被大規模量產的 physical AI,而他要談的是一件與主流有點反直覺的事——只用強化學習、不靠模仿,來增強這種自動駕駛。

Applied Intuition 的自我介紹:涵蓋汽車、卡車、農業、礦業、營建等垂直產業的 physical AI 技術供應商,提供 autonomy stack、OS、模擬工具與更廣義的 physical AI 基礎設施;估值 150 億美元、超過一千名工程師;同時在 RL 與 world model 上做前沿研究並在頂會發表(含得獎論文)。

典範現況與趨勢:

• 現在:L2++ ADAS 已收斂到 imitation learning 為底的端到端方案並量產,部分領先者再用開環 RL 做 post-training,把安全性與魯棒性推上一級。
• 接下來:下一代自動駕駛預期會在一個能反應式(reactively)生成周遭行為與視覺的 world model 裡,用閉環 RL 訓練。這就是 AV 2.0 開環 scaling → AV 3.0 閉環 scaling 的典範轉移。

Applied 一直在打造高吞吐量的 reactive world model,支撐端到端自動駕駛的大規模閉環 RL,而且這條路已經拿到很好的成績。但他要問的是:有沒有更聰明的做法? 他們的答案是把「學會開車」和「學會看」解耦。

Phase 1:learn to drive — TerraZero(約 03:04–03:07)

TerraZero 是他們的 self-play RL 框架,吞吐量遠高於其他 SOTA 的駕駛模擬器與 self-play 框架。他們只用了一些公開資料集的地圖多樣性,就能取得等效 25 個世紀的駕駛經驗,且零人類示範;而且只要 scale GPU 算力與地圖多樣性,這個數字還能再往上兩到三個數量級。

成果:TerraZero 訓練出的 policy 在多個閉環 planning benchmark(vector-based)上達到 state-of-the-art,相對於 imitation learning 為底的 planner 有明顯優勢,尤其是在那些尚未飽和、只收錄 corner case 的 benchmark(例如 InterPlan)上。它能在各種困難駕駛情境中做出理想動作,並在全球不同城市間展現 zero-shot 泛化。

(他也順帶呼應了前一場:Michael 剛剛給了一個 self-play 賦能自駕賽車的好例子,而他要給的是 self-play 賦能城市道路駕駛的例子。)

Phase 2:learn to see — TerraTransfer(約 03:07–03:08:45)

TerraTransfer 的做法是:用一個從 self-play 訓練出來的專家(也就是 TerraZero)去教另一個端到端自動駕駛模型。具體是在離線資料集裡的同一批駕駛情境上,同時對齊兩者的 latent 與動作。

這樣得到的端到端自動駕駛——訓練配方裡完全沒有 imitation——在閉環端到端駕駛 benchmark 上取得 state-of-the-art,相對其他 imitation-based 方法有明顯優勢,並在各種刻意構造的困難駕駛情境中展現出「意外地魯棒」的駕駛行為。

Key takeaways:

1. 自動駕駛典範正朝閉環 scaling(AV 3.0) 移動。
2. 端到端模型與 vector-based planner 都能靠純 self-play / 閉環 RL 的訓練配方達到 SOTA,不需要 imitation。
3. 搭配 reactive world model 的 self-play 閉環 RL 不只是 post-training 技巧,更是很強的 pre-training 技巧。
4. RL 框架與 world model 的吞吐量,會是這種閉環 scaling 典範的決勝因素。

金句

"End-to-end autonomy … is the first massively productionized physical AI in the real world."(約 03:02:05)

在一整場談「機器人還在 pre-ChatGPT 時刻」的 session 裡,這是唯一一場談「已經量產」的技術。

"25 centuries of driving experience with zero human demonstrations."(約 03:05)

一句話說明 self-play 相對於路測資料的規模差距。

"They are not just some post-training technique, actually they are very powerful pre-training techniques."(約 03:08:20)

他最想扭轉的認知:閉環 RL 不是最後一哩的修飾,而是主訓練手段。