邁向自適應的 Agent 框架

TL;DR

• 三個研究問題:(1) agent 該如何在固定運算預算下分配資源?(2) 如何讓 agent 推理得更好?(3) 如何讓 agent 隨時間演化?他的團隊在 AWS 做大規模雲端維運的 monitoring / observability agent,這三題是他們認為要走進 mission-critical 場景必須先解的。
• Budget-aware adaptive execution:今天多數 agent 的執行策略靠 prompt 或啟發式寫死;他們把它形式化成 constrained Markov decision process——在預算(latency / cost / token 皆可)約束下最大化期望效用,並學出執行策略。實測比常用的 scalar reward model 更好,而且更 sample-efficient(達到同樣能力所需的迭代次數顯著更少)。
• Parallel reasoning:讓模型平行探索多條推理路徑,且這些路徑是在訓練期學到的、不是推論期才展開,最後由一個 coordinated reasoning 步驟收斂成單一答案。在數學與程式 benchmark 上,pass@1 到 pass@k 都優於強 baseline,k=1 時效果特別突出。
• Continual adaptation:第三個方向是有原則的 post-training 方案,讓 agent 適應新任務時不遺忘先前學會的東西。

重點整理

出發點:agent 已經很強,但還不夠可靠(約 00:24–00:25)

Kasiviswanthan 開場說明他與團隊在 AWS 做的是大規模雲端維運的 monitoring 與 observability agent。今天的 agent 在 planning、tool execution、資訊檢索、迭代求解上都已經相當能幹;但當它們被部署到更 mission-critical 的應用時,AWS 認為有幾個關鍵研究問題必須先解決:

1. Agent 該如何分配運算資源?想像你有固定的運算預算,要讓 agent 把它用在刀口上。
2. 如何讓 agent 推理得更好——有效率地探索多條路徑再下決策。
3. 如何讓 agent 隨時間演化?Agent 不該是靜態的,而要持續適應、愈做愈好。

本場聚焦前兩題,第三題結尾簡述。

方向一:budget-aware adaptive execution(約 00:25–00:27)

今天絕大多數 agent 的執行策略是固定的——由 prompt 或某個局部啟發式定義。他們的目標是讓 agent 把執行策略學起來。

抽象化之後:agent 有一段 context,要決定下一個最佳動作(重新檢索資訊、用工具、驗證結果、更新記憶……),而關鍵約束是預算——agent 必須在執行工具的同時尊重這個預算。這在形式上可以寫成一個 constrained Markov decision process:在某個運算預算的約束下最大化期望效用。預算可以是 latency、成本、token,任何你想用的定義。

有效嗎?有。他展示兩張圖:一張顯示這些自適應 agent 學到的執行策略優於實務上常用的 scalar reward model;另一張顯示它同時更 sample-efficient——要達到同樣的能力水準,所需樣本數顯著更少。

方向二:parallel reasoning(約 00:27–00:28)

今天的模型基本上沿著單一推理路徑走。他們探索的方向是讓模型平行探索多條推理路徑——關鍵在於這些平行路徑是在訓練期學到的,而不是推論時才展開;最後由一個 coordinated reasoning 步驟把多條路徑收斂成一個答案。

在數學推理與程式 benchmark 上都拿到穩定的好結果:從 pass@1 到 pass@k 都勝過很強的 baseline,k=1(只取一個答案)時的結果尤其亮眼。

方向三與收尾:continual adaptation(約 00:29)

第三個方向是 continual model / agent adaptation:找出有原則的 post-training 方案,讓 agent 能適應新任務。主要挑戰是學新任務時不能忘掉舊的。他認為解開這三個方向,就能催生下一代的 frontier agent。