用語言模型做端到端的資安研究

TL;DR

• 預測與現實:兩年前一群前沿實驗室研究者估計「agent 做超過 90% 編碼」最快 2–5 年、平均 5 年以上;「agent 做超過 90% 的一般性研究」則要 10 年以上。編碼的預測有點錯,研究的預測錯得非常離譜。
• 證據是一篇本週發表的密碼分析論文:模型在 7-round(簡化版)AES 上找到新攻擊,把最佳複雜度從 2013 年的 2^99 降到 約 2^89,實測快 200–800 倍。他強調:AES 本身沒有被破解——真被破就是網際網路被破;這是學術性的簡化版本結果。同樣手法也用在 HAWK(後量子演算法)與 LEA 上。
• 典範轉移的方向與新瓶頸:人類的做法是想幾週、找人討論、再實作;模型的做法是產生大量點子並把每一個都實作出來試。「ideas are cheap, execution is everything」可能要反過來了。實際數字:從一句「go beat AES」出發,模型產出超過 3,000 個點子,其中 2,000 多個真的適用、約 200 個具新穎性,最後只有 4 個進了論文。而現在團隊大部分時間花在驗證結果上。

重點整理

兩年前的那兩個問題(約 03:01–03:04)

大約兩年前,他在一場類似的活動上和一群來自頂尖前沿實驗室的研究者做了一件研究者常做的事:預測未來。當時有兩個問題:

1. 還要多久,LLM 與 agent 能做掉我們超過 90% 的編碼工作?——最樂觀的估計是 2 到 5 年,平均值超過 5 年。
2. 還要多久,agent 能做掉我們超過 90% 的一般性研究?——超過 10 年。

他的評語是:編碼那題「我們錯了,但也許沒錯太多」;研究那題,我們可能錯得非常、非常離譜。

他也先把定義釘死。他說的「用 LLM 做研究」不是把 LLM 當工具——許多會議、包括作風非常保守的資安會議,如今都在某種程度上允許使用 LLM。他要問的是完整的端到端研究:從有想法、形成假說、設計方法論、到測試與再往下走。他很清楚很多人不同意、很多人覺得這不可能——兩年前他自己就是其中之一。

那篇論文:7-round AES(約 03:05–03:10)

「這週我們剛發表了這份工作,顯示 Claude 能做密碼分析」——意思是在密碼演算法中找出弱點。其中一項結果是對對稱式加密演算法 AES 的新攻擊。論文作者只有兩位:他自己與 Nicholas Carlini。他刻意把兩人的學術履歷攤開:Carlini 的背景是系統安全、近期轉 ML security;他自己是網路安全、現在做 ML security。「我們兩個人,加上一份網際網路的拷貝,再加上一堆 coding agent,照理說不該做得出對密碼系統的攻擊。」 兩人都喜歡密碼學,也試過破解更簡單的東西,而且都很不擅長。

AES 的背景:2001 年由 NIST 標準化,是一個迭代式演算法,共 10 輪。它吃一個輸入與一把金鑰,主要由四個部分構成——substitution(S-box 把輸入映射到另一組輸出)、把 bit 重新排列(permutation),以及加上金鑰的某個函數;然後把這一整套重複約 10 次。

接著是他重複兩次的免責聲明:他們沒有破解 AES。真的破了 AES,就是把網際網路破了。 這是一份學術工作,對象是輪數縮減後的 AES——只做 7 輪而非完整 10 輪,這是學界的標準研究對象,因為比較容易、也比較可能取得進展。

複雜度的量級對照:

• 暴力破解 7-round AES:約 2^128 次運算——耗時比太陽變成新星還久。
• 2013 年提出的既有最佳演算法:約 2^99——大概要 20 萬到 200 萬年。
• 而且這不是沒人努力:這個問題被相當充分地研究過。
• 他們的新結果:約 2^89(取決於怎麼計算),實測快約 200 到 800 倍。他自嘲:「所以大概一千年就跑得完了,我不知道這有多重要。」

攻擊原理他用兩分鐘帶過:密碼演算法的攻擊通常是在不真正破解演算法本身的前提下,找出輸入與輸出之間的關係。AES 的 S-box 用了一個特定的公式——先在某個有限域中取反元素,再做縮放與平移。他的類比是:把一個物體縮放再平移,形狀之間的比例關係不變,只是移動了、放大了。模型理解到 S-box 具有這個性質,並用它推導出攻擊演算法。 方法非常複雜,他請有興趣的人去讀論文。

而且不只 AES:他們也對其他密碼系統做出攻擊,包括 HAWK(後量子演算法之一)與 LEA(在其他國家被使用)。他再次強調:這些攻擊沒有改變網際網路上的任何東西,是學術成果。

模型是怎麼做研究的:3,000 個點子換 4 個結果(約 03:10–03:12)

他對比了兩種工作方式:

• 如果是他自己做:找個地方坐下來想幾週,生出幾個點子,去找幾個人討論,可能收斂出幾個,然後才去實作。
• 模型的做法完全不同:一次生出大量點子,而且不去找人討論,而是把每一個都實作出來,看哪一個真的行得通。

他由此提出一句反轉:「我們以前說 ideas are cheap, execution is everything;現在也許是 ideas 更重要,而 execution 模型可以做得非常非常快。」

但 AES 有個特殊困難:執行本身就跑不動——複雜度大於我們能負擔的量級,不可能真的去把一個 2^89 的演算法跑完。所以他們建了一個 harness:接收一個研究想法 → 去找幾個其他 agent 討論這個想法好不好 → 實作 → 對想法迭代。他的補充很誠實:「現在你需要一個 harness;也許未來不用,但至少現在要。」

搜尋規模的數字非常具體。從一句「go beat AES」開始,展開成一層又一層的想法樹:

• 模型產出超過 3,000 個點子;
• 其中超過 2,000 個確實適用於這個問題;
• 約 200 個是具新穎性的想法;
• 最後只有 4 個進到論文裡。

代價是大量算力。

「你們只是不擅長密碼學吧?」——以及新的瓶頸(約 03:12–03:13)

他主動提出最常見的質疑:也許只是我們兩個不擅長密碼學,所以才會覺得這很厲害。 他承認這有可能——他沒有密碼學背景,能讓他驚豔的東西未必能讓別人驚豔。但他們把結果拿給真正的密碼學家看,對方確實感興趣。

第二層質疑是:也許人類整體就是不擅長密碼學。對此他的回應是:他們看的不只是密碼學,還包括其他資安研究——用他自己較熟悉的網路安全背景往外延伸到隱私等領域——每一個方向都有令人期待的結果。而現在,他們大部分的時間花在驗證這些結果上。

收尾的那句話回到研究本質:我們過去說一個研究需要同時具備新穎性與品質;而其中一個信念是,LLM 也許各自擅長其中一項,但無法同時做到兩者。他的結語是:也許這件事正在開始鬆動。

金句

"Two of us plus a copy of the internet plus a bunch of coding agents shouldn't essentially be able to come up with an attack on cryptographic systems."(約 03:06)

他刻意先貶低自己的資格,好讓成果的來源無可推諉。

"We didn't break AES. If someone breaks AES, it breaks the internet."(約 03:07)

全場最重要的免責聲明,他講了兩次。

"Maybe we had this saying before that ideas were cheap and the execution is everything. Now maybe ideas is more important, and execution the model can do very, very fast."(約 03:10)

研究工作的稀缺資源正在換位。

"We are spending most of our time verifying the results."(約 03:13)

新的瓶頸不是產出,是驗證。