從訓練到評估:Scale AI 打造 Agentic AI 的開放配方

TL;DR

• RL 的下一個邊界是「不可驗證領域」:coding 和數學有 ground truth,可以直接判對錯;但 frontier labs 真正在乎的科學、開放式任務沒有 verifier。Scale AI 的做法是把評分準則(rubric)轉成驗證訊號,做出基於 rubric 的 ranking-based reward model,並用它推進 GRPO,在開放式任務上看到實質改善。
• Online rubrics 是自然的延伸:訓練中 policy 一直在變好,rubric 也該跟著變。比較 reference policy 與 current policy,找出目前 reward 沒抓到的東西、生成更好的 rubric 併回 reward model——講者說這條線和近期 recursive self-improvement 的趨勢高度一致。
• SWE-bench 類 benchmark 太乾淨:真實工程師不是看完 issue 就吐一個 patch,而是要寫單元測試、來回翻 repo、自問自答才知道下一步做什麼。因此 Scale 推出 SWE-Atlas,目前已被 frontier labs 廣泛採用。
• CLI vs MCP 的爭論可能是假議題:他們的結論是——只要模型夠強(近期的 Claude 4.8、GPT-5.5/5.6 等級),而且後端相同,工具介面就不重要,模型會自己學會用最好的那個介面。
• Computer-use benchmark 太貴,那就合成:以既有高品質 benchmark 為基底,生成更長程、更困難、更貼近真實的任務。效果是把 OSWorld 上 80%+ 的 SOTA 打回 約 30%——證明高品質的真實世界資料集是可以合成出來的。
• 最後的框架:訓練 ↔ 評估的飛輪。從 post-training 的洞見去蓋更好的 RL 環境,從評估的失敗模式去改進 post-training 演算法。

重點整理

定位與 Scale AI 背景(約 02:12–02:13)

Chenguang Wang 是 UC Santa Cruz 的助理教授,同時是 Scale AI 的 research advisor,與前一場的 Emily Xue 密切合作。他只有 10 分鐘,所以 post-training 只快速帶過,重點放在 evaluation,以及兩者之間的綜效。

Scale AI 的使命是「為世界上最重要的決策打造可靠的 AI 系統」,2016 年創立,目前規模相當大,在美國與其他國家設有辦公室。

Post-training:從 RLHF 走向 rubric-based RL(約 02:13–02:15)

Scale 目前的 post-training 研究主軸,是從 RLHF 移動到 rubric-based RL。這個判斷來自他們替 frontier labs 提供資料服務的實務——這是 post-training 真正重要的一塊。

挑戰有三層:如何設計有效的 reward、如何把 reward 用進 RL、以及如何在 RL 訓練過程中讓 reward 本身變得更好。相關成果發表在今年的 ICLR、ICML,也投了 NeurIPS。

具體上,他們用 rubric-based reward 的範式推進了 GRPO 的邊界,除了效能提升,也從訓練與資料的互動中萃取出配方——如何把「資料 ↔ RL」這個飛輪轉起來。

為什麼 rubric-based reward 是關鍵(約 02:15–02:17)

他特別強調這一點:

過去 RL 的主流戰場是「可驗證領域」(verifiable domains)——coding、數學。這些領域你能明確知道答案是對是錯,有 ground-truth verification。

但真實世界、frontier labs 真正在乎的,大多是沒有 verifier 的開放領域——科學,或各種個人任務。所以必須找出方法讓 RL 在這些 open-ended domain 上運作。

他們的做法是建立一套範式:把評估準則(criteria)轉換成驗證訊號。由此建出的新 reward model 有一個關鍵差異——它不是單純判斷「哪個回應比較好、哪個比較差」,而是基於 rubric 的 ranking,因此能規模化到真實世界情境。

他們建了一條可靠的 pipeline:從簡單的 rubric 起步,逐步養出高品質的 rubric,再把它用在 RL 階段,並在開放式任務上觀察到實質的改善。

Online rubrics:reward 也要跟著 policy 進化(約 02:17–02:18)

這是第一項工作的自然延伸。核心觀察是:訓練過程中 policy 一直在變,而且越變越好——那麼固定的 rubric 就會逐漸跟不上。

做法是:同時持有一個 reference policy 與一個 current policy,找出目前 reward 沒有捕捉到的東西,據此生成更好的 rubric(online rubric),再把它整合回 reward model。這樣能訓出更好、對下游任務更 robust 的模型。

他指出這條「online rubric 演化」的路線,與近期 self-improvement / recursive self-improvement 的研究趨勢高度一致。

評估:SWE-Atlas 與真實工程的樣子(約 02:18–02:20)

評估是 Scale 的主戰場:把訓練得到的洞見與客戶對話的洞見,轉成給 frontier 模型用的全球 leaderboard。

SWE agents 的問題:大家熟悉的 SWE-bench、SWE-bench Pro 的形式是——GitHub 上有一段問題的文字描述,agent 生成一個 patch 去修好原 repo 的 bug。

但他直接點出這與現實的落差:真實世界髒得多。工程師不是只看 PR 和 issue 就生出一個 patch;你得寫單元測試,有時候得來回翻 repo、自己提問再自己回答,才知道下一步該做什麼。

因此他們釋出了新的 benchmark SWE-Atlas,他說目前已被 frontier labs 廣泛採用。

專業推理與 AI for Science(約 02:20–02:21)

• HLE(Humanity's Last Exam):專業推理的代表性 benchmark,各家模型仍在持續 hill climbing。
• Drug discovery bench:目標是建構真實的醫療照護環境,由專家生成真實的藥物發現任務,從概念出發,一路走到交付出藥物。近期已釋出 preprint。

工具介面之爭:CLI vs MCP(約 02:21)

這是一個現場很有共鳴的結論。他們研究「哪種工具介面比較好」,得到的高階結論是:

一旦模型變得夠強——像近期的 Claude 4.8、GPT-5.5 或 5.6 這個等級——介面就不重要了。 模型會自己學會盡可能用上最好的工具介面。前提是你給它相同的後端。換句話說,爭論 CLI 還是 MCP,可能問錯了問題。

Computer-use agents:用合成把 benchmark 變難(約 02:21–02:22)

benchmark computer-use agent 的困難在於成本極高——多模態模型、驗證細節多。

他們的解法是:以既有的高品質 benchmark 為基底,合成生成更長程、更困難、更貼近真實的任務。

效果非常明顯:原本 OSWorld 上新版 Opus 的 SOTA 在 80% 以上,被壓回約 30%。這證明了他的論點——真實世界的資料集是可以合成出來的,而且能保持高品質。

收尾:訓練與評估的飛輪(約 02:22–02:23)

最後一張技術投影片講的是綜效:

• 從 post-training 的洞見 → 打造更好的 RL 環境
• 從 評估的失敗模式 → 改進 post-training 演算法

「希望這個迴圈可以永遠跑下去」——兩邊同時得到更好的 eval 與更好的訓練成果。

結語與 workshop 預告(約 02:23)

Scale 目前與各家 frontier labs、政府、企業合作,也涉足 robotics 的 physical AI。

最後宣傳:第三屆 Agents in the Wild workshop 已獲 NeurIPS 接受,投稿截止在當月底;他是核心籌辦人之一,講者陣容包含 Dawn Song、Joshua 與 Jav(後兩位姓氏字幕不清)。

金句

"In many real world cases where Frontier Labs really care about … it's not a verifiable domain. So we need to find out a way to make it work for those open-ended domains."(約 02:15)

整場 post-training 部分的動機:RL 必須離開數學與程式碼的舒適圈。

"Once a model becomes really capable … the model will learn to use the best tool interface possible. So that really doesn't matter — unless you give the same backend."(約 02:21)

CLI vs MCP 之爭的降溫劑:能力夠強時,介面不是瓶頸,後端才是。

"We can pretty much bring down the performance of the original OSWorld … from something definitely beyond 80% to something like 30%."(約 02:22)

合成的長程任務,直接把 computer-use 的 SOTA 打回原形。