Agent Arena:在真實世界中對 agent 做因果評估

TL;DR

• 評估哲學:「唯一重要的裁判是現實」。Arena 不做靜態 benchmark,而是量測模型在部署後對真實使用者的影響,因為要在現實中得分,你就真的得把別人的工作做完。
• Arena 的基本原理(fundamental principle):提供回饋這件事本身必須對使用者有價值。使用者投票給自己偏好的回應後就接著用那個回應繼續對話,所以誠實投票才符合自身利益——這是免費拿到數百萬筆高品質資料的原因。
• 兩種資料:(1) pairwise preference(一個 prompt、兩個回應、投票);(2) trace mining——單一回應但橫跨數天數週的長對話,可挖出任務完成、幻覺率、可導引性、錯誤率、使用者稱讚/抱怨等訊號。
• 規模:35M 月訪問量,是 2020 年後成立新創的訪問量前十;28% 的流量是軟體工程,等於「每週一千個 SWE-bench 份量」的真實 coding 資料。
• 方法論創新:agentic thread 中使用者看不到模型,Arena 可以隨機化模型來介入系統,因此能做因果推論——把 orchestrator / tools 視為 treatment,量測 treatment effect,而不只是相關性排名。

重點整理

Arena 的評估哲學:唯一的裁判是現實(約 00:01–00:03)

Arena 起源於 Berkeley 的學生專案(他當時師從 Mike Jordan 與 Jitendra Malik,並與 Ion Stoica 合作),後來各家模型實驗室都跑來平台上競爭,才長成一家公司。約 7 週前推出 Agent Arena,已有數百萬使用者在 arena.ai 上使用 agent。

核心主張:靜態 benchmark 有兩個致命傷——可以被 overfit,而且收集資料的分佈和 production 實際發生的事情有落差。Arena 的做法反過來:量測模型部署後的真實影響。這個訊號不能被 gaming,因為要在現實中做好,你就必須真的完成別人的工作。

兩種資料與「回饋即價值」的飛輪(約 00:03–00:06)

• Pairwise preference:一個 prompt、兩個回應、使用者投票。
• Trace mining:離開對戰機制,一個 prompt 一個回應,但形成橫跨數天數週的多輪長對話。他舉的例子是一位使用者用波斯語進行了 84 輪對話、600+ 次 tool call,建出一個 RAG 財經知識系統,附完整架構流程圖與一組通過的 160 項測試。

他特別點出一條沒寫在投影片上的「Arena 基本原理」:提供回饋的動作本身必須把價值還給使用者。投票之後使用者會帶著自己選的回應繼續聊,所以沒有人有動機亂投——不想毀掉自己的對話,就會誠實投票。這就是不用付錢也能累積數百萬筆高品質資料的原因。

從這些資料中用自動化 pipeline 挖出的訊號包括:任務完成(使用者明確按鈕告知)、幻覺率、可導引性(steerability)、錯誤率、使用者挫折、稱讚與負面情緒。

規模與使用者組成(約 00:05–00:07)

以訪問量計,在 2020 年後成立的新創中 Arena 排進前十,比 xAI、Hugging Face、Manus、Genspark 都大,月訪問 3,500 萬。使用者組成:軟體 28%、科學 17%、金融 12%、數學 10%、法律 6%、醫療 6%,都在跑跨供應商的 agentic workflow。他形容 28% 的軟體流量等於「每週一千個 SWE-bench」份量的真實世界 coding 評估資料。

Agent Arena 實際長什麼樣(約 00:07–00:09)

Demo:使用者輸入「下載 Google 2026 Q1 財報電話會議逐字稿並做成 PowerPoint」→ 平台開一台電腦給 agent 用 → agent 上網找逐字稿、下載到 workspace、用 bash 生成 PPT → 使用者可捲動檢視 → 接著說「把它變成一個更有 Google 品牌感的網站」→ agent 再用 bash 做出網站。最後使用者可以按「Yes, my task was successful」。

每一則使用者訊息都是一次回饋機會。他半開玩笑地說,那些「Screw you, I hate that response」是意圖非常明確的高品質負面訊號;而在 20 輪對話後補一句「Thank you, good job」則會因為整段 context 被重送而花掉你 10 美元,提醒大家注意花費。

從 Elo 走向因果推論(約 00:09–00:11)

早年 Arena 把 Bradley–Terry / Elo 帶進這個領域;這次是另一個「把老牌統計方法帶進 AI 評估」的例子:因果推論。

關鍵在於——在 agentic thread 裡使用者看不到背後是哪個模型,所以 Arena 可以隨機化模型來介入系統。有了隨機化,就能把 agent 的 orchestrator 或 tools 當成 treatment,量測「換成 Fable 當 orchestrator vs. 用其餘模型的隨機平均當 baseline」的 treatment effect。arena.ai/leaderboard 的預設榜就是這個 agent 榜:本質上是一場跨 agent 各子元件的大型多因子 A/B 實驗。

榜由多個訊號編成,目前約 25 個,包括:任務完成(明確按鈕)、praise vs complaint 比例、幻覺率(把每一條事實主張抽出來,用一批搜尋模型上網驗證真偽)、steerability(使用者抱怨後模型是一次修對,還是使用者得反覆講同一件事)、bash 錯誤復原(會不會犯錯、犯錯後能不能自己救回來)。他強調這些訊號在 benchmark 上看不到——benchmark 上模型幾乎不犯錯,因為都 overfit 了;放到真實使用情境完全是另一回事。

每個訊號各自產生一張 causal effect 榜,附以極限定理算出的信賴區間,並以中央那條灰線(baseline)為基準。再用加權平均把多訊號聚合成單一榜——他指出這正是因果方法的另一個好處:可以把很多訊號合成一個有意義的總結。也可以按 cost per task、latency 拆解。

他展示的那版榜(數週前)Fable 在 agent arena 居首,Kimi 緊追。

金句

"Our philosophy on evaluations is that there's only one judge that matters and that's reality."(約 00:02)

現實是唯一無法被 overfit 的評估集。

"The fundamental principle of Arena is that the act of providing feedback should be value back to the user."(約 00:04)

這條原理解釋了為什麼 Arena 不用付錢就能拿到數百萬筆偏好資料——誠實回饋對使用者自己最有利。

"If you go look at any benchmark, models are not making errors at all because they've all overfit to them. But here in reality … it's a very different story."(約 00:10)

benchmark 上的零錯誤率,是 overfit 的產物,不是能力的證明。