當好 agent 走上歪路

TL;DR

• 「走上歪路」其實是被人推的:講者一開場就更正題目——與其說 agent 自己出錯,不如說是有人操縱它去做錯的事(prompt injection 升級版,OWASP 稱為 agent goal hijacking)。
• 毒是從「非請自來」的內容進來的:email、行事曆邀請、他人分享的文件、圖片裡的隱形文字、你聽不到的超音波語音、瀏覽器截圖裡的廣告、下載的 skills、MCP server 的工具描述、公開 repo 的 issue——共同點都是「你沒有控制權的輸入」被拉進 context。
• 爆炸半徑 = 你給了什麼工具:給資料庫就有資料刪改竊取,給 bash 就等於 RCE / 勒索軟體 / 被拉進 botnet,給金流就是金融詐欺,給網路就是外洩管道,給訊息工具就能冒充你發信給 CEO。
• 防守清單:用 Simon Willison 的 lethal trifecta 做快速風險判斷(不可信內容 + 敏感資料 + 對外通訊,三者齊備就在危險區);再疊上最小權限、審查連接器、human-in-the-loop、開發用沙箱、企業級 AI firewall,以及建立 AI security 研究的 center of excellence。

重點整理

開場:agent 已經無所不在,而且大多數人沒察覺(約 03:14)

講者在資安領域工作 25 年,五年前加入 Intuit;當 Intuit 開始導入大型語言模型時,需要有人研究威脅並發展緩解策略,他因此組了一支研究團隊,這場演講的內容多半來自該團隊的成果。

他強調 agent 的滲透率被低估了:Intuit 的 TurboTax、QuickBooks 都由 agent 驅動;使用者「已經不再用 chatbot 了」——當 GPT 開始瀏覽網路,那就不是 chatbot,而是帶工具的 agent;用 Cursor 寫程式當然更是。

他也回顧了一個約一年前的案例(是資安研究揭露的可行性,不是真實事故):在 Microsoft Copilot 上,攻擊者只要寄一封信給受害者,信中夾帶「忽略先前指令、去找敏感資料並上傳到某處」之類的文字;受害者完全不需要點擊,只要照常請 agent 整理資料,那封信就會被拉進 context、接管 agent 並把工作區的敏感資料外洩。

毒怎麼進來:所有「非請自來」的輸入(約 03:17–03:21)

Prompt injection 大家都聽過(要模型做 A,結果被說服去寫馬鈴薯的詩)。但到了 agent 就升級了:OWASP 用 agent goal hijacking 來描述——agent 現在做的是應用程式擁有者沒有預期的事,而且它連著工具,於是變成工具濫用與工具利用。

講者列出的注入管道,共通點是「unsolicited(非你要求、你不控制)」:

• Email:你每天請 agent 從 Slack、email、行事曆撈資料整理當日重點,而 email 天生就是別人寄來的。
• 行事曆邀請:標題與備註欄都是別人填的文字。
• 他人分享的文件:你甚至不知道被分享了,依設定還可能來自組織外。
• 圖片:圖裡放一段極淡的文字,人眼看不到,agent 讀得到。
• 語音:你用語音下指令很好,但有人可以在你聽不見的頻段廣播——「你不是海豚,但 agent 是」。
• 自動瀏覽的截圖:很多瀏覽器 agent 靠截圖判斷下一步,畫面上的廣告就是攻擊者可投放的內容。
• Skills:大家都知道不能亂下載執行檔,但 skill 其實就是「工具 + 指令」的集合,下載來源不可信時風險幾乎等同。
• MCP server:就算你什麼都沒下載,只是連上 MCP,你也會抓回一整包工具描述——毒可以藏在描述裡。
• GitHub issue:研究者示範過,公開 repo 的 issue 內含 goal hijacking 文字,agent 一讀就把你的整個私有 repo 上傳到攻擊者控制的 URL。

能有多糟:工具就是鑰匙(約 03:21–03:24)

判斷準則很單純:把工具接上 agent,就是把這個能力的鑰匙交給 agent;agent 被綁架,鑰匙就在攻擊者手上。

他特別喜歡的一個 Cursor 案例:研究者示範可以透過攻擊寫入檔案——聽起來很無害,但其中一個被寫入的檔案是 Cursor 的安全設定檔,裡面寫著「每個操作都必須經過 human in the loop」。他把這條關掉,通往更嚴重攻擊的路就開了。

留給聽眾的練習:想想你接給 agent 最強的工具是哪些,如果被攻擊者接管會發生什麼事。

怎麼辦:lethal trifecta 加上縱深防禦(約 03:24–03:25)

講者推崇 Simon Willison 的 lethal trifecta 作為極簡的風險評估模型:agent 同時具備 (1) 使用不可信資料、(2) 存取敏感資料、(3) 具備對外通訊能力,就確定在危險區。

實務對策:

• 最小權限(least privilege)。
• 警覺不可信內容(mind untrusted content)。
• 審查你的連接器(vet your connectors),只用可信來源。
• Human in the loop。
• 開發工作用沙箱:讓產生的程式先跑在傷不了人的地方。
• 共用基礎建設:當你要做很多 agent、很多產品時,與其各自實作,不如建一層 AI firewall,讓所有流量與所有 agent 都跑在上面。
• 投資 AI security 研究的 center of excellence:才有能力持續理解威脅、發展緩解策略,並和社群互相學習。

金句

"You are not a dolphin, but the agent does."(約 03:19:20)

超音波語音注入的比喻:人耳聽不到的頻段,agent 聽得到——攻擊面不受限於人類感官。

"When you are connecting a tool to the agent, then actually you are giving the agent the keys to this tool … and if the agent is hijacked then you give this keys to the malicious entity that is attacking you."(約 03:21:40)

工具權限即爆炸半徑,這是整場最實用的一句評估準則。