Web Store 裡的幽靈:先攻擊者一步堵住 LLM 幻覺型瀏覽器擴充套件供應鏈攻擊

TL;DR

• 威脅模型的重點是「誰在瀏覽網路」變了:過去二十年的 web 防護是為「人類瀏覽網路」設計的;現在要問的是如何建一個保護 agent 的 web,保護了 agent 就等於保護了人。
• 幻覺在供應鏈上不是假設性問題:已有研究顯示 PyPI / npm 套件名稱會被幻覺;講者團隊近期也做了幻覺網域名稱的研究。而瀏覽器擴充套件更危險——權限過大、看得到你的 session token 與 cookie,一旦被攻陷,攻擊者就有你作業系統的第一排座位。
• 三個「幻覺高發區」(hallucination-prone zones):(1) 時效性——現在每個月新增約 2 萬個擴充套件,過去是一整年才這麼多,而 LLM 不擅長偵測新近變化;(2) 已刪除的東西——同時期也有數千個擴充套件被下架,但 LLM 是 snapshot learner,以為它們還在;(3) 無品牌的擴充套件——沒有品牌訊號的擴充套件特別容易被編造。
• 實測結果:LLM 推薦的一批擴充套件是真實存在但已被下架的,其中不少已被標記為惡意軟體;另一批則是無人認領的識別碼,LLM 依然自信地叫你安裝。他們持續監控高幻覺率的擴充套件,研究之後觀察到約十來個被註冊並用於惡意活動。
• 可帶走的一句話:幻覺是 LLM 的固有性質,不會消失;不要盲信瀏覽器或 chatbot 給的推薦,一定要查證。

重點整理

開場:從「保護人瀏覽網路」到「建一個保護 agent 的 web」(約 03:38–03:39)

講者在 Palo Alto Networks 做 web security。他的切入點很簡潔:過去這些年,web 防護是為「人類在瀏覽網路」建立的;隨著 LLM 與 agent 大量普及,現在瀏覽網路的不再是人。所以團隊近期在想的是——怎麼建一個會保護 agent 的 web,而保護 agent 反過來就是保護人。

本場聚焦其中一塊:幻覺,而且是瀏覽器擴充套件上的幻覺。理由是「瀏覽器就是新的作業系統」,理解這個攻擊面很重要。

他也點出研究缺口:現有關於幻覺的研究、甚至 benchmark,主要衡量的是摘要任務上的幻覺,而不是供應鏈安全或相關產出物上的幻覺。

一個關於火星日落的插曲(約 03:40–03:41)

他女兒問他:如果站在火星上看天空,日落是什麼顏色?他不想讓她失望,就去問了自己最愛的 chatbot,得到一段關於紅色日落、寫得非常漂亮的描述。他轉述給女兒,她很開心——但答案是錯的,火星的日落是藍色的。

原因是 LLM 把地球的經驗一般化到火星,又抓住「火星天空是紅的」這個事實推導出紅色日落;真正的物理是紅光波長較長、難以穿過大氣粒子,而藍光波長較短——連火星車拍回來的照片都是藍色日落。從此他學會凡事再確認一次。

為什麼是瀏覽器擴充套件(約 03:42–03:43)

安全領域的幻覺不是假設性問題:已有研究顯示 PyPI 與 npm 的套件名稱會被幻覺,講者團隊近期也做了幻覺網域名稱的研究。而擴充套件之所以特別危險:

• 權限過大;
• 看得到你的 session token 與 cookie;
• 一旦有任何一個被攻陷,攻擊者就等於拿到通往你作業系統的第一排座位。

而攻擊手法「簡單得令人不安」:攻擊者不需要突破你的系統,只需要騙過 AI,讓 AI 幫他從正門走進來。

三個幻覺高發區與實測結果(約 03:43–03:44)

問題根源在 LLM 的運作方式本身。他歸納出三個 hallucination-prone zones:

1. 時效性(recency):因為 AI 的緣故,擴充套件正在暴增——現在每個月約 2 萬個新擴充套件,而過去是一整年才產生這個數量。LLM 不擅長偵測新近變化,於是傾向「幻覺+盡量幫忙」。
2. 刪除(deletion):同一時間也有數千個擴充套件被刪除。LLM 是 snapshot learner,對「已被刪除」沒有概念,會以為它們還在。
3. 無品牌(no brand):並非所有擴充套件都有品牌訊號,這也會誘發幻覺。

實測發現分成兩類:

• 一類是 LLM 幻覺出來的擴充套件其實真實存在過但已被刪除,而且其中許多在瀏覽器商店裡被標記為惡意軟體。
• 另一類是無人認領的識別碼,LLM 仍自信地告訴你可以安裝——攻擊者可以直接利用。

最後一張投影片是他們持續監控的高幻覺率擴充套件清單:他們持續重新評分、追蹤;在研究之後,他們看到約十來個這類擴充套件被註冊並用於惡意活動。

結論(約 03:44)

不要盲信瀏覽器(或 chatbot)給你的推薦,永遠再確認一次——因為幻覺是 LLM 的固有性質,不會消失。

金句

"Attackers don't need to break into your system. They just need to trick the AI to get through your front door."(約 03:42:47)

整場最精煉的威脅模型:供應鏈攻擊的入口從「漏洞」變成「幻覺」。

"LLMs are snapshot learners. They don't have an understanding of deleted extensions. They think they are already still existing."(約 03:43:30)

「已刪除」這個概念在訓練快照裡不存在——這正是幽靈的來源。