從多 Agent 模式到可靠的協調

TL;DR

• 模式只是接線方式,真正的問題是 delegation 決策。handoff(控制權轉移)、agents as tools(orchestrator 委派並等結果)、routing(classifier 把每一輪分派給專家)——每家企業取的名字不同,但底層都是同一個 runtime choice。
• Agent delegation ≠ tool selection。Tool selection 通常拿單一 ground-truth label 來評;但 agent delegation 的重疊是常態(多個 agent 都能完成同一個任務),而且判準還包含成本、延遲與使用者體驗。
• 就算實作成 tool call,agent 也不是 tool:tool call 是有界的,agent delegation 是無界的——委派出去等於啟動另一個自主迴圈,它可能推理、反問、卡住、稍後恢復,或永遠不乾淨地返回。
• 因此評估不能只問「最後任務有沒有成功」:要看路徑是否合理、成本、延遲、使用者體驗;benchmark 應該允許多個可接受的正確選擇,並附帶完整 runtime context。

重點整理

用車內語音助理把問題具體化(約 01:15–01:16)

講者背景是 agent 架構(給客戶產品的系統層架構)與 GUI agent / computer use agent——像使用者一樣操作螢幕的 agent。(他提到去年在 AI Engineer 研討會有一場談 GUI agent 典範動機的演講,可供延伸。)

他用車內多 agent 語音助理當作貫穿全場的例子,裡面有三個 agent:navigation agent(找路線)、car control agent(操作車窗、座椅、空調),以及 GUI agent(透過螢幕操作應用程式)。它們之上是 orchestrator,負責協調執行、有時合併結果。

他的核心主張是:協調真正難的地方不是模式、不是怎麼在 agent 之間傳遞東西,而是在不斷變動的脈絡下,反覆做出可靠的 delegation 與協調決策。 常見模式看起來很多——handoff 是控制權轉移給另一個 agent;agents as tools 是 orchestrator 把工作委派給專門 agent 並等待結果;routing 是 classifier 或 router 把每一輪分派給專家——但每家企業各有各的命名,本質是同一件事:選擇。

為什麼這不是普通的 tool selection(約 01:17–01:18)

聽起來像是一般的工具選擇,但不是,原因有二:

一、重疊是常態,ground truth 不唯一。 Tool selection 通常對著單一標準答案評分;但在 agent delegation 裡,「在這個脈絡下誰該處理這件事」常常有多個 agent 都做得到——例如 GUI agent 幾乎能覆蓋其他 agent 的範圍。而且選擇的判準還包含成本、延遲、以及你想給駕駛或乘客的使用者體驗。

他的例子:使用者說「play some jazz」。如果螢幕是空的,呼叫 media API 可能最好;但如果螢幕上已經有一首歌或一份播放清單,直接點下去也是完全有效的選擇。相對地,「navigate me to Munich」就很明確屬於 navigation agent。可靠的系統不該把這種情況硬塞進單一 canonical label,而要用 runtime context 去適應。

二、agent 的委派是無界的。 就算實作成一次 tool call,agent 也不是 tool:tool call 是有界的,agent delegation 是無界的。把工作交給另一個 agent,等於啟動一個自主迴圈——它可能推理、要求澄清、卡住、稍後恢復,或永遠不乾淨地返回。所以協調不只是「選能力」,更是在決定什麼時候放手讓另一個迴圈接管控制權是安全且有用的。

對評估與組織的意涵(約 01:19–01:20)

既然存在多條有效軌跡,benchmark 就不該只問「最終任務是否成功」,而要納入路徑是否合理、成本、延遲、想提供的使用者體驗;資料集也要帶上完整的 runtime context,指標則視情境而定(有時最佳化延遲,有時最佳化人機協作)。

在企業裡怎麼落地:他建議每個擁有某個 agent 的團隊各自建自己的 benchmark,然後把多個團隊的 benchmark 組合起來,形成一個涵蓋協作與協調模式的共享 orchestration / delegation benchmark。

收尾:模式只是把多 agent 系統的各部分接起來的手段。真正重要的是讓協調路徑與委派決策可量測、脈絡感知、可靠。三個要一直問下去的問題:誰來處理這件事?他們該一起走哪條路?我們怎麼知道結果是好的?

金句

"A tool call is bounded and the agent delegation is unbounded. So basically delegating to an agent can start an autonomous loop."(約 01:18)

這是「agent 不是 tool」最精確的一句話——差別在控制權是否會回來。

"The patterns are just the means to connect the pieces of the multi-agent system. What matters is making orchestration paths and delegation decisions measurable, context-aware, and reliable."(約 01:20)

整場演講的結論。