遞迴自我改進的實務觀點

TL;DR

• Agent 的定義被重新洗牌了:古典 RL 是「agent ↔ environment」兩個分離的方塊;今天環境和 agent 已經難以拆開,環境是 agent harness 跑在上面的那台機器(且常與使用者共享),腦是 LLM。
• SI 與 RSI 的實用定義:self-improvement 是使用者給一個 spec、系統跑數小時到數天、朝一個 fitness function 前進;recursive 只是再多一步——把 harness 程式碼與模型權重本身也視為環境的一部分,允許被修改。
• 現況:自我改進的例子很多,「真正有影響力的 RSI 例子還沒看到」。
• 瓶頸在兩端:研究迴圈的四格中,implementation 與 experimentation(coding agent 的強項)進展飛快,ideation 與 evaluation 幾乎原地踏步。
• 評估要往「怎麼改進的」走:從代理指標(SWE-Bench Pro、MLE-bench、held-out perplexity)→ 直接評估 RSI 能力(PostTrainBench 這類)→ 再進一步評估「用什麼方式達成」:不要作弊,要看到創造力。
• 潑冷水的四個理由:evaluation 難、ideation 難、物理限制(晶片速度、光速)、以及人類水準本身可能已接近漸近線——「better doesn't mean better」。

重點整理

從電玩到「環境長在 agent 裡面」(約 00:43–00:46)

DeepMind 做 agent 做了十幾年,因為 RL 本來就是用 agent 定義自己的。傳統那張圖很單純:agent 與 environment 交換 observation 與 action,agent 由一個神經網路驅動,observation / action 空間固定,環境是電玩。當年常被質疑「遊戲不是真實世界」,但事後看這條技術路線影響巨大;而遊戲有個很好的性質——它比我們今天的 sandbox 還要更徹底地被隔離。他們就這樣一路測到 Go、StarCraft,直到「把最複雜的遊戲都打完、沒遊戲可打了」。

今天這張圖被重新洗牌,最深刻的一點是:環境已經很難跟 agent 拆開,所以他直接把環境畫進 agent 裡面。環境是一台可能連著網路的機器,agent harness 跑在上面,腦換成大型語言模型——結構上其實和當年那張「為某個遊戲專門訓練的神經網路」沒差多少,但互動的緊密程度已經無法切割。另外和過去不同的是:多了一個會跟 agent 互動的使用者(寫程式、丟一個要跑很久的難題),而且環境常常和使用者共享——可能就是你自己那台機器,也可能是雲端 spawn 出來的虛擬機。

SI 與 RSI 的實用定義(約 00:46–00:49)

他刻意用這個 agent 的鏡頭來定義 self-improvement 與 recursive self-improvement,因為兩者其實沒差很遠:

• Self-improvement:相較於 agent,使用者的互動性低很多。使用者給一個 spec,系統就自己跑幾小時甚至幾天;關鍵是有一個 fitness function / improvement target(例如當天早上有人示範的 Tetris 分數)。他強調「這跟 agent 幾乎只差在細節」。
• Recursive:再往前想一步——agent harness 本身的程式碼、甚至 agent 背後的那顆(或那組)LLM,都可以被修改。這些東西 trivially 可以視為環境的一部分:harness 的程式碼、以及那個你可以上傳到 server 去服務 token 的模型物件。所以 recursive 就是允許環境與 harness 修改自己或修改模型。

值得區分兩個改進空間:harness space(compaction 怎麼做、有哪些工具可用等實作細節)與模型權重本身(從頭重寫、或 fine-tune)。RSI 的 action space 就是「任何會改動那個物件的動作」。

他的判斷很直白:真正有影響力的 RSI 例子還沒出現;self-improvement 的例子則已經很常見。但這件事一定會來,而且對「前沿實驗室自己怎麼做研究、怎麼開發 harness 與 LLM」有很深的後果。

研究迴圈的四格,以及大家都擠在中間兩格(約 00:49–00:51)

要問「一個有腦的 agent 要怎麼做 RSI」,不妨戴上研究者的帽子:一個全能的 RSI 系統要走的流程,和我們多年來為了發論文、推廣技術而玩的那套遊戲沒什麼兩樣。他拆成四格:

1. Ideation:吸收所有既有工作與領域知識,判斷哪些想法根本上值得追——這是很重要的推理步驟。
2. Implementation:把想法實作出來,可能複雜也可能簡單。
3. Experimentation:跑程式、遇到 bug、不 work,可能堅持下去、也可能放棄回頭換想法。
4. Evaluation:評估發生了什麼、ideation 階段形成的假設是否被驗證。傳統上接著寫論文,RSI 系統則直接繞回去再跑一圈。

關鍵觀察:現在絕大部分的努力集中在中間兩格。 Coding agent 有多強大家都知道,implementation 與 experimentation(編譯、除錯、跑實驗)的進展與熱情都很高——這一段大概也因為最貼近使用者互動,所以更像 self-improvement 而非 recursive self-improvement。另外兩格則遠遠落後。

Evaluation:三個層次(約 00:51–00:55)

他特別花時間講評估,因為他認為社群長期低估了 evaluation 與 data(當年提出新資料集的論文甚至會被視為「應用」而不值得上大會)。要「用比較科學的方式衡量進展」,有三種做法:

(1) 代理能力 benchmark + hill climbing——挑一些被認為重要的能力與 benchmark(SWE-Bench Pro、MLE-bench、pre-training 的 held-out perplexity),然後拚命爬坡,期待 RSI 自己 emerge。 - 優點:這正是這幾年訓 LLM 的方式;評估便宜、定義清楚。 - 缺點:對「真正會不會發展出 RSI」是非常間接的量測;還有 overfitting 與作弊問題;而且現有 eval 大多只涵蓋中間那兩格。

(2) 直接評估 RSI 能力本身——已經有 benchmark 開始出現,例如 PostTrainBench(他也提到 Dawn Song 跟他講了另一個,近幾週到幾個月會陸續冒出來)。做法是把評估設計成「內迴圈本身」:給 agent 一個指標、給幾次嘗試,看它能改進多少。 - 優點:量到我們真正在乎的東西,也就是自我改進能力本身。 - 缺點:現在很貴(你真的得讓 agent 跑一段時間);而且內迴圈優化的往往是 Tetris 之類的目標,和真正在乎的「幫我把整個前沿實驗室自動化、做出世界最好的模型」相比,這些評估以今天的形式可能有點 out of distribution。

(3) 不只評估改進多少,還要評估「怎麼改進的」——這是他預期領域會越來越往那走的方向:除了「三小時算力下 Tetris 進步多少」,還要看沒有作弊、有創造力、展現出某些智能面向,用比較容易評估的強力 reward model 來打分。

Ideation:最被低估、也最難自動化的一格(約 00:55–00:57)

以 ideation 為例:想法要怎麼評估?當你是研討會審稿人,你在找的是 research taste、novelty、efficiency、elegance、這個技術是否經得起時間考驗。你可以想像用這幾條寫一些規則、去評估一個 RSI agent 在 ideation 階段的行為——但現在非常難,而且極度缺乏研究。要把這條路走通、把自動推理做到可以用 RL 在上面優化,還需要不少時間。

而且說實話,人類自己也沒多好:我們有非常昂貴的研討會與審稿流程,但 Transformer 花了好幾年才變成主流;現在越來越紅的 distillation,當年投稿的那個會議直接把它拒了,靠著某種隨機過程過了好幾年才重新被看見「這東西其實有用」。他順帶調侃:在場每個人大概都有一篇自己的「事後看應該要上的酸苦被拒論文」故事——而這正是我們自己設計出來的那套昂貴流程幹的。

遊戲會被玩壞:reward hacking 的老朋友(約 00:57)

他把遊戲拉回來當例子:agent 用和我們預期不同的方式達成目標,並不令人意外——有幾款很有名的遊戲就是被這樣鑽了漏洞。這件事我們已經看了很多年。

收尾:RSI 會很猛,但可能沒那麼快(約 00:57–00:59)

• 樂觀面:RSI 對某些工程與科學任務,很可能把進展速度拉快 10 倍甚至更多。
• 要小心的:目標怎麼設、misalignment、資源重新配置、以及實驗室的運作方式可能因此改變——每一步都得走得謹慎。
• 四個「沒那麼快」的理由: 1. Evaluation 很難。 2. Ideation 很難。 3. 物理限制:晶片不可能跑得比設計上限更快,連光速——資料在晶片之間傳輸——都是限制。 4. 人類水準本身可能已接近漸近線:加上 RSI 也不見得看得到劇烈提升。AlphaGo 相對於「完美的圍棋」到底還差多少?不清楚。另一個例子更貼身:現在這些模型寫作好到有點惱人,你反而得叫它寫差一點——所以在某些領域,「更好」不一定真的是更好。

金句

"The environment is hard to disentangle from the agent. So I put the environment inside of the agent."(約 00:45)

古典 RL 那張「agent 與 environment 各一個方塊」的圖,在 agentic 時代已經畫不出來了。

"I don't think we've seen very impactful actual recursive self-improvement examples yet. Certainly many self-improvement examples."(約 00:48)

RSI 目前還是預期,不是既成事實。

"Currently a lot of effort is done in the middle two boxes."(約 00:50)

整場演講的核心診斷:大家在做的是實作與實驗,不是發想與評估。

"It might not come as fast as we thought it would, because first evaluation is very hard and ideation is also very hard."(約 00:57)

來自前沿實驗室內部的降溫發言。

"Sometimes it's kind of annoying how well these models write and you have to make it look a little bit worse. … Better doesn't mean better."(約 00:58)

有些維度上,人類水準已經是天花板附近,再往上走的邊際價值可能是負的。