讓自主變得自主:邁向可供發現與直覺的心智模型

TL;DR

• 問題設定:physical AI 活在開放世界,部署後 edge case 無窮無盡,團隊得不斷跑「發現—開發」迴圈修它們,而且每一次修補都必須有可追溯的釋出證據。
• 三層迴圈:execution loop(資料、模擬、DevOps 構成的可驗證基底)→ discovery loop(有根據的 ideation、驗證、可追溯性)→ intent loop(隱性專業、心智模型、可信歸因、共演化的夥伴關係)。
• 實證:一組 agent 只拿到一句輸入(「產生改進 3DGS 以處理行人的點子,在某類 GPU 上測、在真實 benchmark 驗證、跟 baseline 比、發表論文」),就自行完成從選題到寫論文;投稿 CVPR 2026 workshop 的 4 篇有 3 篇被接受(被拒的那篇是公式格式問題)。
• 不是「會寫論文的系統」,而是「做可追溯、可驗證科學發現的系統」:候選方法都是在已驗證的重現實作上突變,每個宣稱都能追到真實 log、真實程式碼行、真實 GPU run。

重點整理

問題:開放世界的 edge case 修不完,但每次修補都要有證據(約 00:55–00:57)

他的起點是一個大家都會同意的事實:physical AI 活在開放世界,部署後不斷冒出 edge case,團隊得進入持續的發現與開發迴圈去修——而且所有修補都必須帶著可追溯的釋出證據(traceable release evidence)。

同時,物理世界正在快速變得可執行(executable):CI/CD 框架能持續跑迴圈、agent 能部署程式碼、模擬能補上資料的缺口。這一切指向自我改進的未來。

但阻力也很實際:physical stack 很複雜,需要真實世界的實驗與大量真實世界知識;而人的專業存在於靜態資料之外——它體現在科學構想、專家工作流、以及與系統的物理互動裡。結論是:在物理工作流中做實驗與發現,需要大量算力、資料與人才。

他這場要談三件事:讓自主變得自主(與人協作)、以執行為根據的發現框架、把人的意圖反映進 agentic 工作流,並希望能在 AI 原生經濟中維持人的持續參與。

示範:一句話輸入,一組 agent 交出一篇論文(約 00:57–00:59)

他用一個具體場景說明:某個自駕團隊發現行人感知有問題 → 交給模擬團隊 → 團隊判斷行人是細長結構、需要更好的 3D 重建 → 提出新的 Gaussian splatting 方法 → 在真實資料上驗證 → 最後寫成論文或 spec sheet。

「如果我告訴你,這整個流程是由一組 agent 跑完的呢?」開發者唯一的輸入是一句話:產生改進 3DGS 以處理自駕行人的想法,在某個 GPU 家族上測試,在真實 benchmark 上驗證,與 baseline 比較,然後發表論文。

這組 agent 扮演的角色有明確要求:產出可驗證的研究、部署可執行的程式碼、提出以物理世界為根據的想法,並遵循可追溯、可驗證的科學發現流程。

實際流程:輸入進來 → agent 定義要解的任務(這裡選定改進 NVIDIA 的 OmniRe 框架)→ 對可能改進的維度提出假設 → 專家 agent 各自啟動一批實驗 → 所有實驗在一個 ELO 評分的錦標賽中被驗證或證偽 → ELO 最高的那個想法存活下來,成為新方法,並且是在真實 GPU 硬體上實作的,所以增益是可量測的 → 最後由 writer 與 reviewer agent 寫成論文。

效果如何? 他們挑了幾篇這樣產出的論文,在取得主辦方同意的前提下投稿到 CVPR 2026 的一個 physical AI 相關 workshop——「順帶一提,我們不是想鑽系統漏洞」。結果 4 篇中有 3 篇被接受,其中一篇獲得高度評價;被拒的那篇有公式排版問題,「所以我們認為審稿人在這件事上是對的」。

但他強調重點:這不是一個「用來發想與寫論文」的系統,而是一個執行可追溯、可驗證科學發現的系統。

核心:可驗證基底(verifiable substrate)(約 00:59–01:02)

整套東西建立在一個可驗證基底上,由三件事構成:

1. 有根據的 ideation:定義一套 context-free grammar,讓產生出來的想法是有根據的。
2. 在已驗證重現實作上突變:每個候選方法都是在一個已驗證的重現(verified reproduction)之上做變異,所以一切都可量測、可驗證、可證偽。
3. 可追溯:系統做出的每一個宣稱,都能追回一段真實 log、一行真實程式碼、一次真實 GPU run。

那這個基底怎麼建?反向工程:假設有一個知識庫、有論文,能不能反過來跑科學流程、把寫出這篇論文的程式碼生出來?他的例子是一篇從未被公開實作過的論文(「所以不是 Claude 或 GPT 已經知道這篇」):分析論文 → 判定新想法是什麼、哪些因素帶來相對 baseline 的改進 → 生出程式碼 → 對真實資料做物理驗證 → 提出改進 → 在真實 benchmark 上與真實資料比較驗證。這就構成了發現可以站上去的可驗證基底。

那麼像自駕這種完整應用,執行迴圈長什麼樣?幸運的是他們這些年在自駕上已經累積了不少 agentic substrate:

• data agent:給定一批電腦視覺與機器學習工具,分析各種 edge case。
• simulation agent:給定使用者輸入(例如「讓一台車切入或切出」),重建 3D 背景、重建場景中所有動態 agent、部署 diffusion 模型生成新的反應式行為與困難 edge case,再由其他 diffusion 模型做照片級渲染。
• development agent:吃下 ODD 規格與現有的資料工具、模擬工具,執行 AI 模型的訓練與驗證。

人的角色:從靜態資料到 intent loop(約 01:02–01:04)

「一旦我們有了這些驅動自主的自主系統,人的角色是什麼?」

他認為會出現新的迴圈:資料從靜態走向互動,我們開始能萃取隱性專業(tacit expertise)——那是關於親身經驗的把手,而親身經驗驅動的是心智模型,讓我們能推理的不只是專家怎麼做,還有專家為什麼那樣做。

從心智模型出來的意圖,接著驅動世界模型;而這些世界模型不再只依賴「聚合後的偏好」,而是帶有可追溯的貢獻。歸因機制帶來可信任的採用,可信任的採用再帶來人在迴圈中的持續參與。

心智模型怎麼建?把前面 discovery pipeline 的所有 trace 吃進來,用 claim-backed 的驗證方法轉成證據(evidences),再把證據蒸餾成信念(beliefs),而系統對每一個信念的使用都帶有歸因。

成效有兩類:

• coding 任務:能解更多任務、解得更好;更重要的是更少的使用者介入、更少的 memory token、更少的 token 消耗——這本質上指向更好的「使用者—系統對齊」。
• 物理任務(例如 Gaussian splatting):心智模型可以採用不同的 persona——例如「品質 persona」與「速度 persona」——而這些 persona 是從發現迴圈裡長出來的,並且可被可控地操縱(controllable steering)。

總結他自己的三層架構:execution loops(資料、模擬、DevOps)構成可驗證基底 → 其上跑 discovery loops(有根據的 ideation、驗證、可追溯性)→ 再加上 intent loops(隱性專業、心智模型、可信歸因、最終走向共演化的夥伴關係)。

金句

"Now what if I told you that this whole process is something that is run by a team of agents?"(約 00:57)

從「人做研究」翻轉到「agent 做研究」的那一句。

"Every claim that is made by the system is something that we can trace to a real log or a real line of code, a real GPU run."(約 01:00)

這一句是整套主張的防線:可追溯性把「自動科學」和「自動幻覺」分開。

"Mental models … allow us to reason about not just how experts act but why experts act."(約 01:03)

隱性專業的價值不在動作本身,而在動作背後的理由。