RSI:拆解「Foom」

討論主題與雙方立場

這是 Dawn Song 主持、與 Google DeepMind 首席策略長 Jasjeet Sekhon 的對談。Song 先介紹 Sekhon:曾任 Bridgewater Associates 首席科學家兼 AI 負責人並共同創辦 AIA Labs,曾在 Harvard、Yale 任教,2021 年前是 Berkeley 教授,現於 GDM 負責橫跨研究、商業化與政策的策略計畫;背景橫跨前沿 AI、機器學習、總體經濟與公共政策。

值得先說明:議程標題裡的 "Foom"(快速起飛 / 智能爆炸)在對談中兩人都沒有正面定義,整場實際上是圍繞「RSI 到底到了沒、社會該怎麼準備」展開。

主題一:「Mythos 時刻」改變了什麼(約 02:00–02:03)

• Sekhon:Mythos 時刻會作為 AI 產業史上的關鍵轉折點被記住——「如果 Mythos 時刻都不能讓人變得 AGI-pilled,那我不知道什麼可以。」那是華府徹底醒過來的時刻,因為一場真實的緊急事件發生了。
• AI 社群其實早就知道資安能力在快速成長(例如 Song 團隊做的 benchmark、Google 去年也發過相關論文),但沒人知道確切時間點——「我不知道會是今年二月,而不是十二月。」
• 即使如此,Anthropic 自己也對 Mythos 在攻擊性網路作戰上的表現感到意外,美國政府關鍵部門則是完全措手不及。
• Sekhon 對業界的一句刺:「這裡有種傾向,以為世界就是從 Napa 到 Big Sur 那麼大——但不是,尤其當你可能把東西弄壞的時候。」
• 結果是美國現在有了前沿模型發布前必須走完的政府審查流程。Sekhon 的評價:流程本身不錯、他很高興政府建立了它,但明顯不足、也不夠清晰;而更嚴重的威脅還在後面。

主題二:審查不夠,那還要做什麼?(約 02:03–02:09)

Sekhon 把球丟回給 Song:模型終究會發布,還該做什麼?有哪些防禦能力要補?Song 列出兩個結構性難題:

1. coding 與 cyber 是一體兩面。常有人問「能不能就讓模型的資安能力低一點」,但同一套 coding 能力就是模型解資安任務的能力。大家都要更強的 coding,所以資安能力只會跟著漲。
2. 天生 dual-use 且攻守不對稱。攻擊者只要找到一個可用漏洞就贏,防守方必須擋下全部。更糟的是關鍵基礎設施與醫院嚴重準備不足——她引用估計,醫院從有 patch 到實際部署平均要接近 500 天,而 AI 攻擊者現在能在防守方補完之前就打進去。

Song 的出路仍是用 AI 把防禦端拉起來:過去「提升整體資安體質」一直卡在資源與專業人力不足,AI 第一次讓大規模部署防禦變得可能。她特別點名自己團隊在做的 verifiable code generation——AI 生成的程式碼很多是有漏洞的,但同一個 AI 也能自動化定理證明來做程式驗證;她認為這正走到轉折點,長期來看這是把天平從攻擊方扳回防守方的唯一辦法。

主題三:下一個是 bio,而且更難(約 02:09–02:12)

• Sekhon:cyber 短期內是「攻擊方有利」,已經能看到生成式 AI 在開源 repo 裡「撒漏洞」(salting),而美國電網、醫院這類弱系統一大堆。但 cyber 有個好處——長期可以靠可證明正確的演算法收斂(「大家都可以用 Rust」)。
• bio 則更令人擔心,而且他認為長期仍是攻擊方有利。他的招牌說法:CRISPR 發明人 Jennifer Doudna 就在 Berkeley,她人很好,但如果她決定要做一個能傷害很多人的病毒、並說服她的實驗室去做,那完全在她能力範圍內;Broad Institute 與世界各地的重點生物機構同理。而我們可能很接近一個「用自然語言跟模型聊天就能設計出病毒或蛋白質、然後拿去合成」的世界。
• Google 的因應(來自蛋白質摺疊與 Isomorphic Labs 的經驗),他分成三層:
• 預防:替 AI 產物加浮水印。Google 已有 SynthID,他主張生物領域也該比照,讓實驗室能看到「這個蛋白質是生成式 AI 設計的」。
• 監測:不論病原體是設計的還是天然的,都該大幅強化監控——例如 COVID 期間成熟起來的廢水監測。
• 應變:Isomorphic Labs 近期宣布了針對新病原體的快速反應計畫。
• 更根本的是:合成生物學的關鍵前驅物需要許可制與追蹤。他類比美國在一次恐攻後開始追蹤化肥的做法,認為生物相關材料要管得比那更多。

主題四:這波 capex 撐得住嗎?(約 02:12–02:16)

Sekhon(這段是他講得最有力的一節):

• 這是人類文明史上最大的一次科學下注。已經超過阿波羅登月、超過網際網路建設、超過造出核武的曼哈頓計畫。歷史上唯一比它更大的資本支出是修鐵路——但鐵路不是科學下注,我們知道怎麼修,只有商業問題(要修幾條、誰連到誰)。
• 而下注理由很好:「我們似乎找到了把能源變成算力、把算力變成智能的方法。」只要那台機器還在運轉、scaling curve 還在延續,就會繼續投。他也明說他希望繼續投——有疾病要治、有宇宙要探索。
• 全球金融體系正在為此重組:Google、Meta 這種帳上有數千億的公司把錢投進 capex,中東與其他資金池也在重新配置。
• 風險在於這仍是「賭」:目前這輪的營收撐不起支出——「如果營收撐得起,那就不是科學下注,而是商業現實了。」所以可能撞上 AI air pocket(支出照花、營收沒出現,市場終於反應)。
• 地緣政治層面:美國在算力與資本上領先,中國在能源上領先,美國正在急起直追把能源接上線。他形容這是「資本主義的奇蹟之一:整個星球可以為了一個新目標重新排隊」。

主題五:這些算力接下來要拿去做什麼?(約 02:16–02:18)

Song 給了兩個方向:

1. Future of software engineering。她團隊剛發表的論文(見下方資源表)指出:現在人類還要大量監督、尤其長程任務還得由人告訴 agent 做什麼;但我們會很快走向更高的自主層級。論文提出三級自主度分類,描述責任如何在整個軟體開發生命週期中從人轉移到 AI——直到最後由 AI 決定要蓋什麼、以及什麼該被蓋出來。
2. Recursive self-improvement。AI 夠強之後可以幫忙訓練更好的 AI、開發更好的演算法與系統,再回頭加速自己;能進一步壓縮改進週期,但也帶來自己那一套風險。

主題六:RSI 是真的嗎?時間表?(約 02:18–02:21)

Sekhon 的回答是全場最完整的一段論證:

• 先做一個社群觀察:AI 社群一直照著科幻小說的時間表走,而且理由正當——「如果你不相信,你就蓋不出來。蓋東西很難。不信,就蓋不成。」所以 RSI 目前不是一個已存在的東西,而是一個我們想蓋的東西,是 von Neumann 與 I. J. Good(統計學家兼密碼學專家)插下的那面旗:當機器開始製造下一代智能機器時會發生的「智能爆炸」。
• 我們現在看到的不是 von Neumann 定義下的 RSI,而是早期前兆。AI 系統確實讓我們做出更好、更快的下一代 AI 系統——但這不該讓人震驚:蒸汽機造出了下一台蒸汽機,現有編譯器造出下一代編譯器。那已經在發生、而且在加速。
• 真正的、價值數兆美元的問題是能不能跨過那道門檻。von Neumann 在那篇著名論文裡說:你需要一台更簡單的機器去造出一台更複雜的機器——這很不尋常,你必須跨過某個「自洽複雜度門檻」,否則機器就會迷失方向、人類還是得介入。
• 他的時間表:未來幾年,「賭它不會發生看起來並不明智」。 佐證:三年前這些系統的數學比他念中學的女兒還差,現在數學比他好——「除非現場有 Fields Medal 得主,大概也比你好。」
• 這件事直接接回 capex 論證:前沿能力會被相對快速地商品化(12 個月?18 個月?6 個月?可以吵),但只要你在指數成長曲線上,就能持續募資做下一輪模型。而如果撞上 RSI,那條曲線會變成超指數(hyperexponential)——這正是整個投資論述與科學論述的關鍵。

主題七:為什麼兩人都簽了「Pacing the Frontier」(約 02:21–02:27)

Sekhon 點出兩人都簽了這封由 RSI 疑慮催生的公開信,問 Song 動機。

Song 的立場:

• 這封信有超過一千位 AI 研究者與前沿實驗室成員簽署,大家共享同一個顧慮。
• 「這封信不是要放慢 AI 發展,至少現在不是。」 重點是 AI 發展本來就很快、加上 RSI 可能更快,而大家都想讓社會享受 AI 的紅利——前提是安全、可信、有益的方式。
• 關鍵論點:pacing 這類機制是非常重的手段,極難設計好;設計不好會害處大於好處。而我們最不想要的,就是在危機當下才臨時去建它——那時只會更難做對。
• 所以這是預防性的建立能力(build the capacity):我們不知道何時會需要、甚至不知道會不會需要,但先備好,真需要時才動得快。她認為這反而讓社會能更快地推進 AI 能力,因為有了「我們做得到安全」的保證。

Sekhon 的立場:

• 「我簽的理由跟你很像:我希望 AI 進展得越快越好——但如果出錯、造成傷害,我們會失去創新的社會許可,而我們不能失去創新的社會許可。」
• 他警告在場的人低估了政府與其他行為者關掉這一切有多容易:「他們大概連水都會給你關掉——即使我們其實不太用水,但大眾在這件事上被誤導了。」他直言 AI 在西方國家的民意處境已經進入危險區。
• 治理難的三個疊加原因:技術新且快;二戰後建立的機構(聯合國、NATO)本身正在動搖;同時東方有一個 near-peer 在崛起——人類史的經驗是,near-peer 崛起本身就是額外的系統壓力源。
• 而且只做國內版本行不通,美國不可能自己決定就算數。現在領先的地位反而是資產:領先才有設定議程、拉其他國家一起走的餘裕。他簽名的目的是「讓『我們現在就得討論這些』變成共同知識,在真需要這些工具之前」。

關於 Demis 的提案(Song 順帶問到):

• Sekhon 說 Demis Hassabis 的提案獲得很大迴響,核心是用最輕的監管起步,以配合一個變動極快的領域。
• 形式是 public-private partnership,由業界出資——因為需要數十億美元才請得到最好的人、也才有足夠算力跑分析。
• 明確不要 FDA 模式:FDA 以「年」為單位運作,但能力以「月」為單位變動;而且 FDA 當初是為了阻止賣假藥而生,不是為了治病,所以天生慢。這裡需要快且能適應的東西。
• 機制:設一個 board,由 board 定義什麼是 frontier model(有 benchmark 判定)。是 frontier model 就必須通過審查才能進美國市場——不管開放權重、封閉權重,不管來自中國、德國還是美國。不是 frontier model 就走極輕監管,學術界與新創可以全速創新。
• 現狀:進行中,「看起來相當不錯」,但「現在在華府做任何事都很難」。
• 他補了一句對 Mythos 時刻的正面評價:它讓整個產業變得比較「成人」了。
• 最後他刻意撇清加速/減速的二元對立:「我要 RSI。我要 RSI 越快越好。 我只是要它——我想 Dawn 也是——以可持續的方式來:要有激烈的競爭、穩健的安全、以及不被特定業者把持的創新生態系。」

收尾(約 02:28–02:30)

Sekhon 的臨別贈言:如果你夠幸運能在 AI 領域工作,現在不是睡覺的時候。這不是人類歷史上的平常時刻——他形容是「工業革命加上文藝復興的合體」。我們正處在人類才智、資本與能源都被前所未有地重新配置的曲線段上。而技術史、政府改革史、一切歷史都告訴我們:早期的決定會有很長的迴響,今天的決定可能在 20 年、50 年後產生意想不到的巨大後果。

Song 收在:如她早上開場所說,現在是關鍵時刻,我們必須現在行動,並希望社會能一起做出正確的決定。

金句

"If the Mythos moment does not make one AGI-pilled, I'm not sure what does. … It is the time when Washington fully woke up."(約 02:01,Sekhon)

Mythos 時刻的意義不在技術本身,而在它把政治系統叫醒了。

"There's a tendency around here to think that the world goes from Napa to Big Sur — but it doesn't, especially when you possibly break things."(約 02:02,Sekhon)

對灣區泡泡的直球批評:你要弄壞的東西不在你的通勤範圍內。

"Coding and cyber capabilities are really two sides of the same coin."(約 02:04,Song)

所以「把資安能力調低一點」不是一個可行選項。

"This is the biggest scientific bet our civilization has ever made. … The only capital expenditure that we've ever done that is larger is building the railroads. And the railroads were not a scientific bet."(約 02:13,Sekhon)

規模對照組:阿波羅、網際網路、曼哈頓計畫全被超過;唯一更大的鐵路不是「科學」下注。

"We appear to have found a way to turn energy into compute and compute into intelligence."(約 02:14,Sekhon)

一句話講完整個 capex 循環的投資論述。

"If you don't believe it, you can't build it. Building is hard. If you don't believe, you can't build."(約 02:18,Sekhon)

為什麼 AI 社群照著科幻時間表走——而這是特性,不是 bug。

"You need a simpler machine to make a more complicated machine. … Otherwise, the machine just loses the plot and the humans have to get involved."(約 02:19,Sekhon 轉述 von Neumann)

RSI 的技術門檻:自洽複雜度。

"Betting against it would appear to be unwise. Three years ago, these AI systems were worse than my middle school daughter in math. And now they're better at math than me."(約 02:20,Sekhon)

他對 RSI 時間表的實證直覺。

"If you hit recursive self-improvement, that curve will go to hyperexponential — and that is a key part of the investment thesis."(約 02:20,Sekhon)

RSI 不只是安全議題,它是這輪資本支出的定價假設。

"The letter is not about slowing down AI development, at least not now."(約 02:22,Song)

對 Pacing the Frontier 最常見誤解的直接澄清。

"We'll lose the social license to innovate, and we cannot lose the social license to innovate."(約 02:24,Sekhon)

他支持治理的理由是加速派的理由,不是減速派的。

"I want RSI. I want RSI as fast as possible. I just want it … in a way that it's sustainable."(約 02:28,Sekhon)

拒絕 e/acc 對 decel 的二元框架。