長程 Agent 的機會與挑戰

TL;DR

• 問題的起點是一個很具體的觀察:他自己 Codex session 的中位數大約 10 分鐘、平均約 20 分鐘。「為什麼不能更久?」——這是今天 AI 研究者最該問的問題之一。
• 我們才剛進入 agent 時代一年多。他認為 o3 是第一個真正 agentic 的模型,去年四月才發布;模型自那時起進步巨大,但可改進的空間更大。
• RL 解決了「軌跡越長、出錯機率指數上升」的老問題:規模化 RL 後找到的配方讓模型能從自己的錯誤中恢復、在自己的軌跡上訓練,於是「想得越久、表現越好」——test-time compute 與 token maxing 的時代。今天最好的前沿模型讀數大約是能連續工作 12 到 16 小時。
• 但繼續砸錢不會自動延長到無限,有兩個硬障礙:
• 經濟學是平方級的:採樣長度 n 的軌跡成本正比於 n(有 quadratic attention 還更高),而現代 RL 只給整條軌跡一個 reward、幾乎沒有 token 級的 credit assignment,所以每個 token 拿到的資訊約 1/n——學習訊號隨 horizon 平方衰減。線性還好,平方很殘酷。
• 延遲:採一條 12 小時軌跡就要 12 小時,一天做得出兩個 gradient step,一週約 14 個、一個月約 60 個。這不是一個快的訓練方法,而現在沒有人有時間。
• 今天的長程能力大多是 harness 黏出來的(/goal、plan mode、sub-agents),而這些不是模型原生的、無法被反向傳播、也沒有被訓練——「機器學習的歷史一向是:能被 backprop 的東西會贏過不能的」。
• 兩條出路:value function(如果有人做出來,長程問題就解了,但他抱持相當程度的懷疑——找到好的 value function 常常比解原問題還難)與 continual learning(從另一端解:七年的迴圈每天重跑,但每天跑的不是同一個模型)。

重點整理

從「我的 Codex session 只有 10 分鐘」開始(約 01:10–01:12)

長程 agent 顯然是當下 AI 研究的前沿之一。他的切入點非常具體:看自己 Codex session 的統計,中位數大約 10 分鐘,平均值大約 20 分鐘。為什麼不是更久?為什麼 agent 沒辦法幫我工作更長的時間? 他認為這是今天 AI 研究者非常值得問的問題。

先說明顯的部分:我們已經活在 agent 時代,但非常早期。 在他心中,o3 是第一個真正 agentic 的模型,而那是去年四月才發布的——所以我們才剛進入 agent 時代一年多一點。模型很早期,自 o3 以來進步巨大,但還有更多改進空間;產品在進步、採用在來、很多事情都還沒搞清楚。而這正是這個美好時代給我們的機會:去把這些事情弄清楚,供後面幾十年的 agent 普及使用。

什麼構成一個 agent? 這是個很模糊的詞,他列了幾個組件:agent 使用工具(因為 agent 應該能代表我行動);agent 多半是 async 的(我交代一件事,它就去做);agent 通常是 goal-oriented(你給高階目標,agent 把空白填起來);agent 通常跨越長時間工作(不是每五分鐘來回一次)。

RL 如何解掉「指數失敗率」(約 01:12–01:15)

一旦拉長 agent 的工作時間,就會撞上一個很明顯的觀察:我們訓練的神經網路每一步都是機率性的、都會犯錯,所以隨著軌跡長度增加,出錯的機率是指數成長的。 這正是多年來我們做不出 agent 的一大原因——神經網路會脫軌。這也是 RL 文獻裡的經典假設,以及我們為什麼需要 RL。

轉捩點發生在他和團隊把 RL 規模化到越來越大的算力時,終於找到一個配方,能訓練模型從自己的錯誤中恢復、在自己的軌跡上訓練——模型突然開始能解越來越難的任務。他們看到兩件事:

1. 顯而易見的:投入越多算力,能力就在演算法圖上等比例提升。
2. 更關鍵、也是近年機器學習最重要的心智轉變之一:模型想得越久、花在任務上的 token 越多,表現就越好。也就是說,RL 訓出來的模型不只沒有掉進「軌跡越長失敗率越高」的陷阱、能從中恢復,還能有生產力地持續思考更久。本質上:軌跡越長,結果越好。我們進入了 test-time compute 與 token maxing 的時代。

接著是那張大家都很熟的圖:agent 能替我們工作多久。自從開始規模化 RL,這條線不斷創新高,今天最好的前沿模型讀數大約在 12 小時、16 小時。

為什麼「繼續砸錢」不會自動成立(約 01:15–01:18)

那問題來了:也許就這樣了?我們有了 RL,它有效,砸很多錢繼續 scale,就能得到想要工作多久就多久的 agent? 他的答案是:不幸的是有問題,我們還沒完成。

障礙一:經濟學是平方級的。 - 採樣一條長度為 n 的軌跡,成本大致正比於 n(有 quadratic attention 的話甚至更高一點,但先當作每個 token 成本固定、線性看待)。 - 但今天的 RL 演算法怎麼運作?它給整條軌跡指派單一 reward——現代 RL 幾乎沒有把 reward 分配到特定 token 的 credit assignment 方法。 - 所以你用一個 reward 涵蓋 n 個 token 的軌跡,每個 token 得到的資訊量大約是 1/n,而這條軌跡的成本是 n——學習訊號隨著 horizon 長度平方衰減。 - 如果是線性的,那還算合理:「要 agent 工作兩倍久,就多花兩倍錢」,這個交易可以接受。但如果是平方的,就相當殘酷。 大實驗室今天很擅長砸大錢訓練模型,但這個平方成本讓 scaling 比乍看之下困難得多。

障礙二:延遲,而且更難。 因為即使 AI 領域湧入越來越多投資,沒有人有時間。想像你要採一條 12 小時的 agent 軌跡:採樣就要 12 小時,然後你走一個 gradient step 去強化成功的軌跡,拿到更新後的權重,再採下一條 12 小時軌跡——一天做得出兩個 gradient step,一週大約 14 個,一個月大約 60 個。這不是一個快的訓練方法。 所以針對非常長的軌跡與長程思考做訓練,比很多人以為的要難得多。

現在的長程能力,其實是 harness 黏出來的(約 01:18–01:19)

領域裡大部分的進展、以及我們之所以有能長時間思考的 agent,通常是因為我們在模型上面套了某種 harness:既然 agent 很擅長短程任務,而事實上很多長程工作可以由一連串更小的事情成功地黏起來。

• Codex 和 Claude Code 裡都有的 /goal——非常強大:我們設一個固定目標,模型盡可能跑久,然後回頭檢視自己、繼續做下去。
• 還有 plan mode、sub-agents,各式各樣的方式。

但關鍵在於:這些都不是模型原生的,沒有被反向傳播,也沒有被訓練進去——它們只是利用了模型處理短期目標的能力,再堆疊出更長的時間跨度。你可以做得很成功,但機器學習的歷史一向是:能被 backprop 的東西,終究會贏過不能被 backprop 的東西。

Auto-research 就是現成的反例。 幾乎每一次 auto-research rollout 的故事都是:早期進展很快,越往後走就停滯、就卡住。他說到目前為止,用今天的模型還沒看過任何特別成功的 auto-research rollout。研究本質上就是高度序列、長程的任務,而今天的模型很難把小尺度的思考黏成大尺度的研究專案——auto-research 正是最能看見這個侷限的地方。

人類是怎麼學會長程的?(約 01:19–01:21)

他反過來問:人類是怎麼掌握追求長程目標的? 最有名的例子是 Andrew Wiles 花了七年只做一件事——證明費馬最後定理,而且成功了。我們要怎麼訓練模型去做七年的專案?

他順手問了 ChatGPT:人類是從哪個時刻開始發展長期規劃的?得到的答案是——從我們能做任何有意義的長期規劃至今,大約經過 10,000 個世代的人類,期間大約有 1,200 億人。所以也許答案就是:10,000 個 gradient step、1,200 億條軌跡,這就是讓長程規劃優化到人類水準所需要的量。而且梯度下降比演化更 sample-efficient,所以我們或許還有餘裕——這是值得思考、值得回頭檢視的事。

兩條研究出路(約 01:21–01:23)

(1) Value function。 這絕對是能幫上忙的方向:如果我們有了好的 AI research value function,會非常有幫助。 但他也給了誠實的評估:在對大型語言模型做 RL 時,我們基本上把 value function 丟掉了,而大家發現這樣也一樣有效。Value function 是非常非常難的問題,他對這方面能有多少進展抱持相當程度的懷疑——很多時候,找到一個好的 value function 比解掉你原本想解的問題還難。但如果有人真的把 value function 搞定了,那我們就沒問題了,想解多長的長程問題都可以。

(2) Continual learning。 這是從另一端攻進同一個問題:我們在迴圈中更新模型。如果有一個七年的長迴圈——「來證明這個定理」——你每天重複同一件事,但你不是用同一個模型在重複:模型會在新資料上更新,每天學到東西、變得更好。他認為 continual learning 很有機會把我們帶過這一關。問題在於怎麼做——這是一個未解問題,也是一個值得解的問題。

收尾:值得投入的方向(約 01:22–01:23)

如果你在找「此時此刻該做什麼研究」,他認為長程 agent 絕對是有效選項之一。當我們拿到這項技術,就能讓 agent 去解困難的研究問題,也能讓 agent 去經營公司——那是非常長程、也非常有經濟價值的任務。而從使用者的角度:如果我要把事情委派給一個 agent,我不想每 30 分鐘就得告訴它該做什麼;我要它能長時間代表我行動。

研究還沒做完,還有非常多工作要做,而目標是:能為我們持續跑下去、並隨時間持續變好的 agent。

金句

"If I look at my Codex session, my median is around 10 minutes. If I look at the mean, it's around 20. Why is it not more?"(約 01:10)

整場演講從一個極其具體的個人統計出發。

"o3 was the first really agentic model, and that model was released in April last year. So we are just barely more than a year in the era of agents."(約 01:11)

給這個時代一個明確的起算點。

"You get one reward for a trajectory of n tokens … which means your learning signal decays quadratically in the length of your trajectory."(約 01:16)

長程 agent 最核心的技術障礙,一句話說完。

"You were able to do full two gradient steps in a day. … That means like 60 gradient steps a month. It is not a very fast training method."(約 01:17)

延遲問題比成本問題更難繞過。

"The history of machine learning has always been that whatever we can back propagate through wins with things that we cannot."(約 01:18)

對「用 harness 黏出長程能力」這條路的長期判決。

"Very often finding a good value function is much harder than solving the problem we are trying to solve."(約 01:21)

他對 value function 路線保持懷疑的理由。