座談:機器人與世界模型

場次背景(約 03:08:47)

主持人 Guru Chahal(Lightspeed Venture Partners 合夥人)在 session 開場(約 02:09:26)時就定了調:Lightspeed 從 Anthropic、Mistral、SSI、Reflection 到 Dexterity、Skild 等機器人公司都長期投資,而普遍看法是機器人仍處在「pre-ChatGPT 時刻」——他同意這個判斷,但認為轉折點可能比多數人以為的更近。

他刻意跳過「請各位定義什麼是 world model」這個開場題(理由:那會吃掉接下來 20 分鐘),也拒絕採用「一題輪流答一輪」的形式,而是從五場演講裡挑出立場可能有落差的點直接開戰。

議題一:光靠生成影片,模型就會內建物理理解嗎?(約 03:10–03:12)

Anastasis Germanidis(正方,原始主張者):這主要是經驗結論——把模型 scale 上去,再量測它在各種物理相關任務上的表現。他們的方法論是:要引入 inductive bias,就把它引入在訓練資料裡,不要引入在架構裡。所以他們刻意讓一切直接從像素學,不加任何 3D 先驗;到某個規模之後,幾何一致性就相當好,而這也是可量測的。他看不出有什麼根本理由讓這條路停止 scale。

Jim Fan(補充但收窄):雖然 Guru 說不要定義,他還是先給一個以便討論落地:world model 是「以動作為條件、預測下一個感測狀態」的模型。在這個定義下,影片只是方便,而且影片只是其中一種感測器——它叫 RGB camera。但機器人系統上可以有不只一台 RGB camera,而且還有大量其他感測器。他認為今天的 world model 討論漏掉太多模態:除了影片,還有觸覺、力、慣性量測,這些都要放進模型才談得上對動態演化的整體性模擬。結論:「影片方便、影片好 scale、影片很豐富,但那不是故事的全部。」

Sergey Levine(最強反對意見):如果你生成的是「人看了覺得很讚」的影片,非常容易落入一種狀況:影片對人來說很好看,卻沒有反映模型模擬物理 counterfactual 的能力。關鍵在於:給模型一個 prompt 時,它不需要預測「真實物理系統在這個情境下、做了這個動作之後會怎樣」;它只需要產生一個在你看來符合這個 prompt 的結果。這意味著模型可以自己選怎麼把場景擺好,好讓結果看起來漂亮——而這個選擇權非常關鍵。但你若要在真實世界規劃與行動,你得處理你實際所在的情境、你實際採取的計畫、以及可能產生的 counterfactual 後果。

他的例子非常直接:拿很好的駕駛資料訓練模型,然後問它「如果我開進一棟建築物會怎樣」——它多半會生成建築物變形成一條漂亮道路、而你正愉快地開在上面。這件事已經有人真的做過,結果就是這樣。所以答案是:「是的,模型可以處理物理;但你要非常小心,別讓它把你騙了。」而問題的根源如 Anastasis 所說在資料——只是「拿來生成好看影片的資料」不等於「拿來學 counterfactual 的資料」。

議題二:VLA 已死、未來是 world-action model 嗎?(約 03:12–03:16)

Jim Fan:「取決於你在哪個抽象層級工作。」用 system 1 / system 2 來切:

• System 1(快速反應的運動技能):WAM 很有希望。很多物理常識——例如「怎麼抓一個杯子」——從第一性原理來看就很難逐幀用語言 token 拆解描述。
• System 2(推理、寫程式、工具呼叫):他主張 Opus、GPT 這些模型其實就是 VLA——它們是 agentic 的、會採取行動。而且今天用 VLA 的人比用 WAM 的人多,因為 VLA 還服務其他目的,包括他演講裡談的 agentic scaling:這些模型能透過感知理解世界、呼叫工具,協助 auto research。

結論:不覺得會有一方完全取代另一方,真正的分野是抽象層級。

Sergey Levine(認為題目本身問錯了):「這是你問我們的好問題,但對研究者問自己來說可能是錯的問題」——因為它把模型擺在資料之前。要做出真正好的基礎模型,關鍵是能有生產力地吃下大量非常多樣的資料,而影片資料是其中很好的一種。事實上,現在真正好的 VLA 都是拿大量影片資料訓練的,只是那發生在 web-scale 預訓練階段、用來訓練理解 backbone。

所以正確問法不是「要 VLA 還是要影片」,而是「怎麼用上最多的資料」;在那之上才是 inductive bias 的問題,而如他引用的說法:「inductive bias 是偽裝過的訓練資料」——在小規模測試時 inductive bias 的效果可能很大,一旦 scale 上去就溶解掉了。真正該做的是:盡可能利用最多資料來源,然後務實地決定模型該有哪些輸出,好把這些資料用起來。

Michael Spranger(從應用端補兩點):

1. 語言在他們的任務上幫助有限:賽車和桌球,語言其實沒那麼有用。認知科學裡有個經典區分——declarative vs procedural knowledge;你可以描述怎麼騎腳踏車,但那裡面的資訊量很少,你得真的去騎、去學那個物理。
2. 視覺不是永遠可得:視覺當然是很好的 condition 對象,但有些應用做不到。例如遊戲出貨給消費者、場上有 20 個 agent 在賽車時,沒辦法從 20 個視角各渲染一次——PlayStation 上的算力大部分要留給玩家自己的畫面。

所以這些不是 yes/no 的問題,而是「你關心的 domain 是什麼?要解什麼?下游應用是什麼?」他同意大型基礎模型能捕捉視覺與語言知識、在很多情況下極有幫助,但我們仍然需要把當下真正在意的東西蒸餾出來,再出貨給消費者。

Anastasis Germanidis(補一刀):整體正在朝 omni-model 收斂——能同時預測視覺、音訊、文字等模態。所以呼應 Sergey:重點是你在預訓練階段把模型專門化在什麼上面——資料混合偏向低階運動規劃,還是偏向高階推理?這不是「WAM 還是 VLA 架構」的問題,而是「你把模型容量分配給了什麼」的問題,而那才是決定性因素。

Guru 的收束:「這不是二選一,真的是看使用情境,兩邊都有很有意思的適用範圍。」

議題三:真實世界的 RL 要佔多少?vs 模擬與數位資料(約 03:16–03:22)

Wei Zhan(先分應用):

• 自駕:他們更在意行為與視覺兩種模態,而這兩者相對容易從真實世界資料 scale 起來、再以可 scale 的方式注入合成世界。現況是多數量產端到端 ADAS 的領先者主要仍靠真實世界資料,合成資料用在 post-training 階段;但趨勢很清楚——大規模合成資料對讓自動駕駛更魯棒、更安全的角色會越來越關鍵。
• 機器人:就他目前的理解,locomotion 與 whole-body tracking 這類任務,RL 方法非常有用、甚至主導;但像靈巧操作這種複雜任務,既難以造出捕捉關鍵物理屬性的高擬真合成世界,也難以定義好的 reward function 來閉環訓練 policy。所以在這個時間點,behavior cloning / imitation 仍然主導。

Sergey Levine(拆成供給面與需求面):他認為未來會和現在非常不同。

• 現在:機器人學處在 bootstrap 階段——我們還在搞清楚,要讓機器人模型好到能真的靠端到端學習來使用,需要什麼條件。
• 未來:我們不會永遠停在 bootstrap 階段。終將到達一個狀態:部署在外的機器人數量,像今天路上的車一樣多;那時會有極為充沛的、機器人自主與世界互動所產生的資料,而能利用這些真實世界資料的 RL 方法將極端重要。
• 另一個理由:隨著 imitation learning 方法越做越好,挑戰會越來越集中在最後那一段落差——怎麼從 98% 成功率的 policy 走到 100%? 那裡 domain gap 非常關鍵,因為你需要每件事都完全對齊。所以那裡也會需要真實世界的 RL。

但他明確補上時間判斷:「我認為那是未來會發生的事,不是今天的狀態——Wei 對現況的總結我認為非常精準。」

Jim Fan(抄 LLM 的作業,列三種環境):「great scientists invent, greater scientists copy.」他一直在看 LLM 那邊在做什麼,而他們現在不只是在造資料,是在造環境——重點是取得數以百萬計的 coding environment、在裡面做 RL,才得到今天的 Mythos 與 GPT 系列。他們不是靠 imitation learning 走到這裡的,最終是靠 RL。 所以機器人也要造環境,而環境有三個選項:

1. 真實世界:「Sergey 和 π 那邊做了非常出色的工作」,絕對重要——物理完美,因為它就是真實世界。
2. 傳統模擬器(如 Isaac Sim):瓶頸不是模擬速度(模擬其實跑得非常快),而是資產、環境、任務——過去需要大量美術人員手工製作。但現在有一類叫 real-to-sim 的配方,他認為極有潛力:自動掃描真實世界並搬進傳統模擬器,讓你既 data-driven、又能倚賴快速的古典物理求解器。
3. World model 當神經模擬器:影片 world model 一個很務實的用法,就是把它當成由資料寫成的神經模擬器——吃進動作、生成影片與感測狀態。缺點是跑得很慢,優點是多樣性極大(world model 能負擔多少就有多少)。

結論:機器人的 RL 最終會橫跨這三種選項,使用不同類型的算力、面對不同的限制;他希望大家用更整體性的方式看待這件事。

議題四(快問快答):最近看過最驚豔、且不是自家的 demo(約 03:22–03:27)

議題五(快問快答):機器人的「Claude Code 時刻」是哪一年?(約 03:27–03:35)

Guru 的定義:LLM 的第一個 ChatGPT 時刻之後,還有一個 Claude Code 時刻——第一個商業使用情境真正起飛、直接衝上去的那一刻。他要一個數字,外加一兩個字的應用領域。

Michael 的補充上界(非技術論證):「我可以給一個上界嗎?對某些經濟體,我們必須在 10 年內解決這件事。」以日本大型製造企業為例——任何產業、60% 的勞動力都是 50 歲以上,10 年後他們全都會離開職場。

Guru 的收束:「所以邊界就是2 到 10 年。我們就在那之前解決它吧。」

金句

"If you train a model on really good driving data and then you ask what happens if I drive into a building, it'll probably produce the building morphing into a beautiful road and you're driving happily down the road. And people have actually done this and that's exactly what happens."(約 03:11:40)

Sergey 對「影片模型懂物理」最有力的反例。

"Yes, the model can handle physics. You have to be very careful not to let it fool you."(約 03:12)

同上的結論句,語氣是「不是不能用,是別被騙」。

"Video is one of the sensors. It's called an RGB camera."(約 03:11)

Jim Fan 把影片從「世界的表徵」降格回「一種感測器」,順勢帶出觸覺、力、慣性等被忽略的模態。

"Inductive bias is train data in disguise."(約 03:13:30)

Sergey 引述的說法:小規模看起來很有效的架構先驗,scale 上去就溶解了。

"Great scientists invent, greater scientists copy."(約 03:19:30)

Jim Fan 的方法論宣言,接著就是「LLM 現在不是在造資料,是在造環境」。

"With robots the demo is never quite what meets the eye."(約 03:29:50)

Sergey 從 Atlas 後空翻影片提煉的教訓:真正的挑戰不在 demo reel 裡。

"For some economies — and this is not a technical argument — we're going to have to solve it in 10 years."(約 03:35:05)

Michael 從日本製造業人口結構給出的硬性上界。