把推理當成控制:給規劃型 agent 的自適應 test-time compute

TL;DR

• 重新框定自我改進:大家談 self-improvement 時多半框成模型能力(模型改進自己的推理、從自己的輸出學習、獲得新技能)。但模型只是其中一層——最終被部署的是一整個 agentic 系統,模型周圍那一大圈基礎設施同樣是很有意思的改進層,對垂直應用尤其關鍵。
• runtime 決策有階層:從最底層的 thinking choices / token control,到每一步的 action control,再到最高層的 workflow control。這三層都可以最佳化,而且都可以在不訓練模型的前提下做。
• 三個層級的具體做法:(1) Thinking——用 reward 訊號在解碼時把模型「向早期就導正」,從 Transfer Q 到 token-level reward model,把成本降低數個數量級,可做 weak-to-strong 引導與即時多目標對齊;(2) Action——「genuine self-reflection」:不模仿更強模型的反思,而是強迫模型自己判斷此刻哪個動作更好、並說明為什麼,實質上是在建 world model;(3) Workflow——不做「one-for-all」也不做「one-for-each」,而是預先建一個 workflow bank*,test time 再即時挑選。

重點整理

重新框定:自我改進不只是模型的事(約 02:34–02:36)

她開場就把講題往「self-improving agentic systems」拉。一般談 self-improvement,框的是模型能力:模型能改進自己的推理、開始從自己的輸出學習、進而習得新技能。但她認為模型只是一層——最終要被部署的是一個 agentic 系統,模型外圍還有大量基礎設施:模型怎麼被建造、怎麼被部署。那也是一個很值得理解的改進層,而且對垂直應用可能更重要——當你在自己的環境、自己的企業、自己的應用領域裡使用語言模型時。

接著她拆解 agentic 系統拿到一個任務後實際發生的事:從環境觀察到狀態轉移 → 觀察經過思考流程 → 最後做出決策(每個時刻決定當下最該做什麼)。因為任務通常很複雜,你會把它分解給多個 agent、指派角色、設計 workflow(她說現在大家叫這個「loop engineering」);而 workflow 裡的每個 agent,每個時間步都要決定動作,而每個動作決策前都得走一遍思考流程、產出一段 reasoning trace。

於是 runtime 就出現了一個決策階層:

1. 最底層:thinking choices 與 token control
2. 中層:action control(每個決策時間步)
3. 最上層:workflow control

她的主張:基礎模型正越來越成為 runtime 的決策者。自我改進的 agentic 系統,不只可以改進模型能力,也可以改進基礎設施——改進模型在 runtime 怎麼被部署,跨 thinking、跨 action、跨 workflow。

層級一:Thinking — 解碼時的 steering(約 02:36–02:40)

起點是 steering 問題:有一個 reward model,希望把 LLM 導向特定 reward。熟悉數學的人知道這有封閉解,而這個封閉解對「對齊」這個複雜問題給了一個很短的答案:拿 base model 的輸出,加上一個額外的 steering 訊號,而這個 steering 訊號無非就是「某個最佳策略下的 trajectory reward」的某種形式。

從自迴歸的 next-token 取樣角度看,實務上就是:看著語言模型的輸出,用一個可以從企業自有資料學來的外部訊號去引導它。

但這裡有個落差:你真正想要的是盡可能早在生成過程中就 steer,而你手上的 reward model 是 trajectory-level 的——它評的是完整回應,支撐不了 next-token 級的引導。

• Transfer Q:先接受這個限制,做 auto-completion 再正確地使用 reward model。做法是對的,但太慢——在她的學術環境裡用 A6000 GPU,生成 500 個 token 要 14 小時*,基本上不可行。
• 近期工作(token-level reward model):設計一個特定的 reward 模型族、做出 token 級的 reward,把成本降低數個數量級。結果她形容為 phenomenal:可以做任意的 runtime steering、完全不需要訓練模型;可以做 weak-to-strong guidance(用很小的模型引導很大的模型);還可以做多目標對齊——不同目標之間即時依使用者需求調整。

層級二:Action — genuine self-reflection(約 02:40–02:42)

思考終究是為了服務行動,那麼怎麼做決策?

Agentic 系統常用 imitation learning(從專家示範蒸餾),但這常掉進 stuck loop 問題:agent 反覆嘗試同樣的動作直到終止或耗盡 token 預算。

於是有人轉向 world model 訓練,具體做法之一是模仿 self-reflection。她點出這件事的矛盾:當你在「模仿」自我反思時,你並不是在用自己反思——你是在模仿一個更強的模型教你怎麼反思。這確實比 imitation learning 好,但結果並不令人滿意。

她們做了一件很簡單的事,稱為 genuine self-reflection:不模仿更強的模型怎麼想、怎麼反思,而是強迫模型自己去反思——在這個時間點,哪個動作更好。你可以把這理解成在建一個 world model:模型在建立「什麼狀態下哪個動作更好」的心智模型,而且同時被強迫理解為什麼。

結果她說「worked really phenomenally」:能同時改進 imitation learning 與 reinforcement learning,out-of-distribution 表現顯著提升,也大幅超越先前的 SOTA。她認為最酷的一點是:它會外溢到一般推理能力——僅僅透過理解「agent 在特定環境裡怎樣運作得更好」,這種看似與一般推理無關的 critical learning,卻神奇地提升了一般推理能力。

層級三:Workflow — 一個可即時檢索的 workflow bank(約 02:42–02:45)

最上層是自主決定 agent 角色、最佳化 agent 拓撲,也就是 workflow 最佳化。她舉了一個 agentic safety 應用的固定 workflow 為例:它運作得很好,但問題是——能不能設計一個框架,讓一個 meta designer 在 query 進來時,為這個特定任務生出最好的 agentic 框架、最好的 harness?而且是自主地做?

既有的兩條路線:

• One-for-all:為特定任務找出世界上最好的那一個 workflow。
• One-for-each:為進來的每一個 query 各自設計最好的 flow,追求適應性。

她們的取徑是「基礎模型式的哲學」:兩者都不做。而是在訓練時預先計算一批 workflow、建成一個 workflow bank,部署時即時適配到具體 workflow,藉此取得效率。結果顯示效能有顯著提升。

(她在此坦言現場投影片渲染出了問題,說會分享渲染正確的版本。)

總結(約 02:45)

自我改進的 agentic 系統有三個 runtime 決策層級,而重點都是:在有限預算下聰明地分配運算資源——

1. 如何盡可能早地導正思考流程,免得走完一段又長又錯的思考;
2. 如何做 action control;
3. 如何做 workflow control。

金句

"Foundation models are actually more and more becoming a runtime decision maker."(約 02:36)

整場演講的軸心:模型不只是被訓練出來的能力,更是部署時每一層決策的執行者。

"This is not actually self-reflection — when you are trying to self-reflect, you're not actually using yourself to reflect, you are actually mimicking some stronger model which teaches you how to reflect."(約 02:41)

對「模仿式自我反思」的一句到位的拆穿,也是 genuine self-reflection 的動機。

"You're doing it right, but you're doing it way too slow."(約 02:39)

對 Transfer Q* 的自我評價——500 個 token 要跑 14 小時,方法正確但工程上不可用。