把 Agent Harness 內化進模型:Agentic Modeling 的新典範

TL;DR

• 三個關鍵詞:agentic modeling(把 talker 變成 doer)、agent harness(模型外面那層硬寫死的程式碼與模組)、internalization(把 harness 的能力蒸餾進模型)。
• Agentic modeling 需要三個元件:agent harness(資訊層 / 執行層 / 回饋層)、environment(RL 環境,agent 在裡面互動並產生 trajectory)、trainer(用 trajectory 做 mid-training 與 post-training)。
• 新的資料飛輪:harness 產生 trajectory → trajectory 訓練出更會做事的模型 → 更好的模型讓我們蓋出更好的 harness。「Harness 之於 agentic modeling,就像網路資料之於 pre-training。」
• 開源瓶頸不在 harness,在 environment:社群的基礎建設多半在改善 harness 本身,但沒人能同時跑幾十萬個 agent 產生訓練資料。Orchard 就是為了補這個洞。
• 三個對應的研究成果:環境端 Orchard(核心是 Kubernetes-native 的 Orchard Env)、harness 端 EvoLib(test-time learning,靠會演化的知識庫而非改參數)、trainer 端 GFlowRL(把 policy learning 定義成 distribution matching 而非 reward maximization)。
• 成本效率是 China(訓練端)的關鍵字:不只要服務便宜,更要 sample-efficient——用少量樣本就能訓起來。

重點整理

三個名詞的定義(約 00:02)

• Agentic modeling:把大型語言模型轉化成能與環境互動、完成複雜任務的自主 agent。「大型語言模型的刻板印象基本上是個 talker——它好像什麼都知道,但你叫它幫你做事就很困難。」agentic modeling 就是把 talker 變成 doer 的過程。
• Agent harness:因為語言模型做不了很多事,你得在模型外面包一層 harness。「某種意義上 harness 就是一堆程式碼」,能處理現在的模型處理不了的事。我們平常講的 AI agent,通常就是「一個或多個語言模型 + harness」的組合。
• Internalization:把 agentic 能力從 harness 蒸餾到語言模型裡。這些能力包括 memory、context management、tool use、planning,一般透過 supervised learning 或 RL 的 mid-training / post-training 達成。

Agentic modeling 的三個元件(約 00:04–00:08)

Gao 用一張三色圖拆解整個系統:

1. Agent(harness,左側)——他的 lab 不自己蓋大模型,因為太耗資源。Microsoft 有專責的 MAI 團隊做自家大模型(最近釋出十幾個模型),另外也跟 OpenAI 等公司有合約取得前沿模型,再加上 Azure AI Foundry 可以託管數百到數千個開源模型。Lab 真正的焦點是「發展做出 harness 的使能技術」。Harness 是一層層硬寫死的模組(不是模型本身): - Information layer:memory、context management,以及給模型呼叫的大量 tools 與 skills。 - Execution layer:prompt builder、action parser、decomposition 模組、error recovery 機制。 - Feedback layer(他強調「最重要」):收集 agent 產生的所有 trajectory,回頭用 post-training 精煉底層模型。這是 agentic modeling 的關鍵。
2. Environment(RL environment / RLE)——AI agent 與外部世界互動、執行任務並產生 trajectory 的地方。
3. Trainer——用產生的 trajectory 透過 post-training / mid-training 把 agentic 能力灌進模型。最重要的方法是 RL 以及各種蒸餾變體(on-policy distillation、reverse-KL 類演算法)。成本效率是重點:不只要 serving 便宜,更希望訓練是 sample-efficient 的。

新典範:harness 就是新的訓練資料(約 00:08)

「我們正見證 AI modeling 的新典範:harness 之於 agentic modeling,就像網路資料之於模型 pre-training。」

當整個產業與社群每天都在蓋 AI agent 與 harness,一個新的資料飛輪就浮現了:從 harness 蒸餾 agent 能力 → 得到更會做事的模型 → 這些模型幫我們蓋出更好的 agent → 產生更精緻的 trajectory 資料、解更複雜的任務 → 循環繼續。Harness 與模型一起前進。

MSR 進行中的 agentic 研究基本上就對應到這三格:綠色(harness 的建模技術,如 memory management、test-time learning)、藍色(環境服務,平行託管大量 RL 環境)、黃色(trainer)。

專案一:Orchard——開源的 agentic modeling 環境生態系(約 00:11–00:15)

• 問題:agentic 開放研究卡在基礎建設。早期做訓練只要有網路就不缺資料;agentic modeling 不一樣,你需要一個能同時跑幾十萬個 agent的環境來產生 trajectory。研究社群的基礎建設多半用來改善 harness 本身,而不是能平行託管各種 agent 的環境。
• Orchard:開源、可規模化的 agentic modeling 生態系。核心是 Orchard Env——一個 Kubernetes-native 的環境服務,提供 sandbox 生命週期的可重用 primitives。
• 比喻(現場即興的好比喻):Orchard Env 就像 agent 的作業系統 runtime,負責 orchestration 與虛擬化,管理 sandbox 裡的 container image,對 agent 曝露乾淨的介面。「就像這場會議的主辦方——作業系統相當於這棟樓,提供所有水電設施;如果把每個 workshop 看成一個 agent,主辦方把每個 workshop 安排進特定房間,那就是一個 RL 環境的 pod;最後主辦方再把所有 workshop 的結果收集回來分享。Orchard Env 就是整場會議的主辦方。」
• 三個示範 recipe:Orchard-SWE(軟體工程 agent)、Orchard-GUI(GUI 導航)、Orchard-Claw(個人助理)。
• 結果:Orchard-SWE 蒸餾約 10 萬條 trajectory,在 SWE-bench Verified 上拿到 73%——「以這個模型的尺寸來說,已經超越很多開源模型」。
• 他當場預告論文、程式碼與資料「下週」釋出。(實際上論文為 arXiv 2605.15040,Orchard Env 在論文中的定義是 "lightweight Kubernetes-native environment service"。)

專案二:EvoLib——會演化的知識庫式 test-time learning(約 00:15–00:16)

Memory 很重要,但我們通常把 memory 當成「原始經驗的儲存」——而原始經驗不等於學習。「我收集了一堆過去的經驗,卻不知道怎麼用這些經驗解新問題。人類的學習不是這樣的:我從來不會回想起過去經驗的所有細節,我只記得重要的部分——我要避免的失敗、我學會一次之後希望能重複套用的新技能。」EvoLib 就是設計來模擬這種人類學習方式的:讓模型跨一連串任務累積、重用並演化知識,而不更新參數。

專案三:GFlowRL——把 policy learning 當成分布匹配(約 00:16–00:17)

他希望這能成為目前主流 RL 方法(GRPO、PPO)之外的另一種選擇。核心差異:在這個 RL 設定下,policy learning 被定義成 distribution matching,而不是 reward maximization。 具體來說,模型會按照 reward 的比例去抽樣解法,而不是一味往最高 reward 收斂。結果是解出更大的多樣性,同時是更具成本效益的訓練方法。

(時間不夠,他在此收尾:「我得停在這裡了,有問題歡迎會後找我。」)

金句

"The portrait of the large scale language model is mainly a talker. It seems that the model knows everything, but it's really difficult if you ask it to do something for you. So agentic modeling is the process where we want to turn this talker to a doer."(約 00:02)

整場演講的出發點:talker → doer。

"Harness is like the training data to agentic modeling, just like the internet data to model pre-training."(約 00:08)

這是整場最重要的一句類比——它把「蓋 harness」重新定義成「生產訓練資料」。

"Human learning is different. I never recall all the details of my previous experience. I only remember what matters."(約 00:16)

EvoLib 的動機:memory 不該只是經驗的倉庫,而該是被萃取過的技能與教訓。