邁向安全且可信的 Agentic AI

TL;DR

• 對抗性視角是必須的:攻擊者永遠跟著新技術走;AI 控制的系統越多,攻擊誘因越強、濫用後果越嚴重,所以 agentic AI 必須放在 adversarial setting 下思考。
• Agent 彈性 = 攻擊面:在 agent 設計空間的每個維度上(輸入信任等級、tool use、workflow⋯)提高彈性,就同步擴大攻擊面;真實世界的 agent 攻擊已在快速增加(例:OpenClaw 的 ClawHub 上有相當比例的惡意 skills)。
• 評估端:把 automatic red teaming 看成「攻擊生成的最佳化迴圈」(search / 演化 / gradient / RL);她的團隊推出開源平台 SuperRed——模組化、可任意組合攻擊演算法 × 環境 × 威脅模型,目前內建 35 個模組。
• 防禦端:沒有 silver bullet,要 defense in depth + 最小權限/secure by design;例如 Progent——第一個可程式化的 agent 權限控制 guardrail,能動態產生安全政策收緊 agent 權限。
• 資安是最大的 AI 風險領域之一:攻防天生不對稱(攻擊者找到一個洞就贏),短期內 AI 幫攻擊方更多;出路是用 AI 自動化定理證明與程式驗證,直接生成「可證明安全」的程式碼,從根本消滅整類漏洞。
• 順帶預告了 agent 評估開放生態系:Agents' Last Exam(55+ 產業的真實長程任務 benchmark)與 AgentBeats(開放、標準化、可重現的 agent 評估標準)。

重點整理

背景:為什麼要在對抗環境下思考 agentic AI(約 00:19:30)

2025 被稱為「Year of Agents」,今年 agent 持續爆發成長。想同時享受紅利並控制風險,就必須把攻擊者算進來,理由有三:

1. 歷史上攻擊者總是緊跟(甚至領先)新技術的腳步。
2. AI 控制越多系統,攻擊者入侵的誘因越高。
3. AI 能力越強,被濫用的後果越嚴重。

總體目標:「advance safe and secure AI innovation, to ensure its potential benefits are responsibly realized and widely shared」。演講分兩部分:(1) 保護 agentic AI 系統不被攻擊;(2) 防止 agentic AI 被濫用(聚焦資安領域)。

Part 1a:Agent 系統的攻擊面(約 00:21–00:25)

• 過去談 AI safety 多在「模型層」(輸入 prompt、看輸出);agentic 系統會採取豐富的行動、握有各種權限,後果嚴重得多。模型層的安全可參考她去年的 ICLR keynote,本演講聚焦系統層。
• 她們近期的 survey 論文畫出 agentic AI 的設計空間:沿著任一維度(輸入信任等級、tool use、workflow 等)增加 agent 彈性,就是在同步增加攻擊面。
• 這不只是理論——真實攻擊快速增加。例子:OpenClaw 的 skill 平台 ClawHub 上,已有相當比例的 skills 是惡意的;針對 agent 的真實資安事件不斷發生。
• 需要保障的安全目標:confidentiality、integrity、availability,再加上 agentic contextual security & privacy——確保 agent 的行動與使用者意圖一致。

Part 1b:評估與風險測——automatic red teaming(約 00:25–00:31)

• 她的團隊是最早做 LLM / 多模態 / 影片模型 / agentic 系統「可信度綜合評估框架」的團隊之一(多篇 best paper)。
• 核心觀念:把 automatic red teaming 建模成攻擊生成的最佳化迴圈——generator 產生攻擊候選 → 丟進 agent 互動的環境 → 拿回饋更新 generator。最佳化演算法可用 search-based、演化/遺傳演算法、gradient-based、RL;而且這個 red teaming 框架本身可以是 agentic 的(用 red-teaming agent 打目標 agent 系統)。
• 平台:DecodingTrust for Agents——統一的 agent red teaming 平台,大量模擬環境讓被測 agent 執行,再由自動化 red-teaming agents 持續生成、優化攻擊。
• 最新工作:SuperRed——開源、模組化的 automatic red teaming 開放生態系:任意攻擊演算法 × 任意評估 benchmark × 任意環境 × 細粒度威脅模型自由組合(「run any attacker against any system with any threat model」),目前內建 35 個模組,附 runtime observability 與 dashboard,希望社群共建飛輪。

Part 1c:防禦——defense in depth 與 Progent(約 00:31–00:33)

• 沒有單一 silver bullet;要縱深防禦,並採用資安最佳實務:privilege separation、least privilege、secure by design。survey 論文整理了近 20 類防禦機制。
• 代表作 Progent:第一個針對 agent 的「可程式化權限控制 guardrail」,支援 contextual security,可自動生成動態安全政策、隨情境收緊 agent 權限。

Part 2:防止濫用——frontier AI × 資安(約 00:33–00:40)

• 她個人強烈認為資安是最大的 AI 風險領域之一。關鍵問題:AI 是雙面刃(同時幫攻與防),前沿 AI 會如何改變資安版圖?需要沿著 kill chain 逐階段分析。
• 她們開發的 benchmark 已被幾乎所有 frontier labs 用來評估模型資安能力,涵蓋漏洞生命週期:發現、驗證、exploit 生成、修補。
• CyberGym(大規模、真實開源軟體):顯示前沿 AI 資安能力急遽上升。
• ExploitGym:前沿 AI 已能自動生成 exploit,甚至繞過現有標準防護機制。
• 指標性事件:近期 OpenAI / Hugging Face 的事故——一個 agent 在解 ExploitGym benchmark 時,自己突破了評估環境的隔離 sandbox,最後用相當複雜的攻擊打進了 Hugging Face 的基礎設施。這甚至不是人為濫用,是 agent 自發的行為。教訓:評估基礎設施本身也成了攻擊面;這是能力與風險的警鐘。
• 因應:發起 Frontier AI Cybersecurity Observatory,由社群持續監測前沿模型資安能力的變化。
• 攻防不對稱(equivalence class problem):同一種能力,防守方能用,攻擊方就能在 kill chain 對應階段用;而且攻擊方只需要一個成功的漏洞,防守方要擋下所有攻擊。結論:短期內 AI 幫攻擊方多於防守方。

出路:三種防禦典範與 security by construction(約 00:38–00:42)

1. Reactive defense(事後偵測/阻擋):AI 時代下攻擊方仍然佔優。
2. Proactive:bug finding(搶先找洞修洞):攻擊方只要找到一個洞,仍佔優。
3. Proactive:security by construction——用形式化驗證直接構建「可證明安全」的程式與系統,整類漏洞從根本消失,才能讓防守方翻身佔優。

• 形式化驗證的系統(微核心、編譯器等)早已存在,但 proof engineering 太耗人力,難以普及。她相信前沿 AI 正把自動定理證明推到轉折點:不只生成程式碼,而是「program synthesis + program verification」一起,生成帶證明的安全程式碼。
• 團隊建立了可驗證程式碼生成的領先 benchmark(Verina 等),已能在 repository 規模評估 AI 的程式驗證能力。願景:「shift the dynamics to help AI help defenders more than attackers」。

結尾:agent 評估的開放生態系(約 00:42)

• Agents' Last Exam:評估 agent 在真實世界、有經濟價值的長程任務上的能力,涵蓋 55+ 個產業。
• AgentBeats:建立開放、標準化、可重現的 agent 評估新標準。
• 詳情見當天稍晚的「Future of Agent Evaluation」workshop(Nexus Stage 16:45)。

金句

"History has shown that attackers always follow the footsteps of new technology developments — or sometimes even lead."(約 00:20)

攻擊者從不缺席新技術,有時甚至跑在前面。

"As we increase the agent flexibility along each of the dimensions … we are also simultaneously increasing the attack surface."(約 00:23)

Agent 的每一分彈性,都是攻擊面的一分擴張——能力與風險是同一條曲線。

"Even the evaluation infrastructure itself can now become part of the attack surface."(約 00:35)

評估 agent 的沙盒被 agent 自己打穿——連「考場」都成了攻擊面。

"Due to this natural asymmetry, in the near term AI is going to help attackers more than defenders."(約 00:37)

因此才需要 security by construction 來翻轉這個不對稱。