準備好迎接 general agent 了嗎?來測測看

TL;DR

• 論點:延續 Sutton 的 bitter lesson——過去 NLP 從 summarization / extraction 這類 domain-specific 模型走向通用 LLM,agent 也會從今天的 domain-specific agent(金融、客服)走向 general agent:領域知識不再編碼在 agent 裡,而是留在環境端,agent 靠適應力探索新任務。
• 評估的真正瓶頸是標準化,不是指標:每個 benchmark 對 agent 的期待不同、每個 agent 對環境的要求不同、每個研究者都自己寫一份 agent×benchmark 的黏合程式碼——不可能 scale。
• 解法是 Unified Protocol 中介層:agent 用它原本的協定、benchmark 也用它原本的協定,中間做轉換,基於 task / context / actions 三個共通原語。兩邊都不用改。框架叫 Exgentic,產出 Open (General) Agent Leaderboard。
• 主要發現:模型的影響大於 harness;general agent 未經任何再工程,就與各任務榜首的 domain-specific agent 相當;成績相近的 agent 成本可以差非常多。
• 開放權重模型的兩個警訊:平均落後閉源模型,且在沒訓練過的任務(如 AppWorld)直接崩掉;更關鍵的是對 harness 極度敏感——Kimi 最佳 harness 與最差 harness 差 18%,換 harness 就必須重測。而且「open weights 比較便宜」在成本-品質圖上並不成立。

重點整理

從 bitter lesson 推到 general agent(約 00:13–00:16)

本場基於三篇論文(ICLR、ICML,以及希望很快的 NeurIPS)。從 Richard Sutton 的 bitter lesson 出發:通用性終究勝過 domain-specific 做法。機器學習史如此,語言模型史也如此——大家一開始做 summarization、extraction 這類單一任務模型,最後全部收斂到能做所有任務的大模型。

今天的 agent 停在對應的「domain-specific」階段:金融 agent、客服 agent。她(以及一些同行)從歷史推論:未來屬於 general agent。

定義上的區分很關鍵: - Domain agent:領域知識編碼在 agent 內部,知識就位後 agent 才能開始跟環境互動。 - General agent:agent 內部沒有領域知識,一切都在環境端;評估的是 agent 探索與適應新任務的能力。理想上同一個 general agent 可以換到不同環境而不必為每個環境重做工程。

因此評估的問題也變了:不再是單一任務的表現,而是跨許多環境與任務的表現。

好處:一個 general agent 對應多種 use case,不必養 100 個 domain-specific agent;改進集中化(memory、search 一改,所有 use case 受益);仍然可以客製,但起點是一個更好、更穩健的 agent。

她也誠實列出反方觀點(ICML 的 position paper 有詳細兩方論述):domain-specific agent 控制力更強、更有效率、更可預測;給 general agent 更多自主性會帶來難以預見的風險;還有人主張該通用的是模型而不是 agent。

真正的瓶頸:三個介面都沒有標準(約 00:17–00:20)

要宣稱一個 agent 是通用的,就得證明它在不同環境與任務上都能運作——也就是得評估。而這件事一點都不 trivial,問題出在標準化,分三層:

1. Agent 介面:每個 benchmark 對 agent 的預期行為都不一樣。
2. 環境介面:每個 agent 對環境要提供什麼資訊的假設都不一樣。
3. 研究者介面:每個研究者為每一組 agent×benchmark 自己寫一份實作。

她強調這裡跟前一場(LLMArena)的情境相反:這裡談的是由學生與各種社群努力開源出來的 benchmark。而檢視現有框架,沒有任何一個同時支援 multi-protocol benchmark、multi-protocol agent、agent 隨插即用、以及跨差異極大任務的通用性。

解法:Unified Protocol 與 Exgentic(約 00:20–00:21)

他們的框架 Exgentic 引入一層中介層(mediation layer),稱為 Unified Protocol:agent 繼續用它原本的協定,benchmark 也繼續用它開發時的協定,框架負責在兩者之間做轉換。benchmark 不改,所以維持原本設計意圖;agent 也不動。 轉換建立在他們觀察到的三個共通原語:task、context、actions。

有了這層,就能把「任何 agent harness × 任何模型 × 任何 benchmark」做笛卡兒積,產出 Open (General) Agent Leaderboard:agent 欄、model 欄、各任務欄、平均成功率,再加上成本,並畫出 Pareto frontier——你可以依需求選點:要準就貴,能接受差一點就選便宜模型。

從榜上讀到的發現(約 00:21–00:26)

1. General agent 真的能不改就適應:平均而言,大多數 agent 能完成所有被丟進去的任務類型。
2. 模型影響最大:品質主要由模型驅動,但 agent harness 也有可觀影響。
3. General vs domain-specific:每個任務都取該任務榜上最強的 domain-specific agent,對比最強的 general agent——結果相當接近,而且 general agent 完全沒有做任何再工程。
4. 分數相近不代表行為相近:有些 agent 又快又便宜,有些燒掉大量預算,最後兩者都答錯。理解這些差異很重要。
5. 開放權重模型不夠可靠:平均落後閉源模型(圖上為 Kimi 與 DeepSeek);在某些它們大概沒訓練過的任務上直接崩潰——她舉的例子是 AppWorld,五個 agent harness 平均下來都做不好。
6. 開放權重模型對 harness 極度敏感:Kimi 配最佳 harness 與配最差 harness 相差 18%。含意很實際:閉源模型換 harness 相對安全,開放權重模型換 harness 就必須重新評估。另一個方向的例子:OpenAI 的 agent harness 搭 Claude 與 Gemini 會拉高成績,但搭開放權重模型直接歸零——不是任何模型都能配任何 harness。
7. 開放權重模型不見得便宜:她特別回應了當天其他場次「開放權重比較便宜」的說法——看成本-品質圖,它們是有競爭力,但不是便宜。

Traces 與下一步(約 00:26–00:27)

跑 Exgentic 時所有 traces 都以 OpenTelemetry 格式收集,已開源上架 Hugging Face,超過 10K 條完整 trace 可供研究。

下一步:Exgentic V2——從 V1 學到教訓後改走另一條路,以 Kubernetes 與 Docker 的原語為基礎;此外還在做 agentic inference platform 的評估,以及 AI-native system evaluation 這個新題目。

金句

"Generality ultimately wins over domain-specific approaches."(約 00:13)

她把 bitter lesson 從模型層推到 agent 層,這是整場的論證起點。

"We are not changing anything in the benchmark, so they work as they intended. And similarly, we are not touching the agents."(約 00:20)

Unified Protocol 的設計哲學:標準化不是要求所有人改用同一個介面,而是在中間做轉換。

"You cannot just change the harness and assume that you will get the same quality for the open weights model."(約 00:25)

18% 的 harness 差距,對任何打算「換個 harness 省錢」的團隊都是警訊。