為智慧時代建立韌性

TL;DR

• AI resilience 是什麼:OpenAI 重組後,非營利的 OpenAI Foundation 持有約四分之一的 OpenAI 股權,其中一個部門就是 AI resilience。它和 AI safety 相近但不同——safety 多半問「模型本身安不安全」,resilience 問「世界要長成什麼樣子,AI 才會走向好的結果」。
• 限制(restriction)這條路歷史上不太成功:curfew 這個字源自法文、原意就是「熄火」,中世紀警察會半夜敲門要你把火熄掉——但倫敦大火還是在宵禁之下發生了。AI 這邊也類似:少數限制(如平台一致禁止 NCII)有效,但被大力倡議的開源限制其實並沒有落地。
• 火之所以變安全,是因為多層生態系:早期偵測、受訓的消防隊與消防車、專門設計的水帶、遍布城市且有足夠壓力與水量的消防栓、把木造換成金屬與混凝土、檢查、保險、逃生動線⋯⋯沒有任何一項是 silver bullet。成效驚人:今天城市密度比中世紀高一個數量級,起火源多得多(電、瓦斯、工業、甚至資料中心),但沒有人在擔心火災。
• 對 AI 的三個具體對照:生物領域要「硬化環境本身」(例如空氣消毒,讓病原體無法傳播);資安要走到軟體形式化驗證,才擋得住超級智慧的入侵;安全事故要有像航空業那樣的公開事故資料庫,並給通報者 safe harbor。
• 這是一份招募:有些要靠公司、有些要靠非營利組織來完成。他呼籲有能力、能「扭曲現實」的人自問「這個世界還缺什麼,AI 才會走好」,然後去把那些新機構建出來——OpenAI Foundation 有大量資源支持這類努力。

重點整理

定位:AI resilience 與 OpenAI Foundation(約 00:59–01:01)

開場投影片一路出錯,他順手自嘲:「這就是 AGI 還沒到的證據。」

正題:OpenAI 幾個月前完成重組,現在有一個非營利組織持有約四分之一的 OpenAI 股權——這是極為龐大的資源。OpenAI Foundation 底下的其中一個部門就是 AI resilience,而這場演講要解釋 AI resilience 是什麼:它和 AI safety 相似,但不一樣。他選擇用「火的韌性」這個類比來講,並先聲明火和 AI 在很多面向上非常不同,所以這些類比絕非完美。

火與 AI 的兩個相似點(約 01:01–01:03)

相似點一:兩者都是通用技術(general purpose technology),適用面極廣。火被用來加熱食物、提供溫暖、冶煉金屬、驅動引擎,基本上是文明的根基。AI 正在發生類似的事:它已經是知識與智慧生產的一部分、是科學流程的一部分;而如果你認真看待機器人的走向,它將直接成為未來經濟引擎的基礎組件。

相似點二:兩者都帶著風險。火的部分:歷史上有過幾場重大火災,倫敦被燒過四次,波士頓、芝加哥也有,大火期間倫敦約 80% 被吞噬。差別在於今天我們已經相當清楚火的風險是什麼,AI 則不然——問人們 AI 的風險是什麼,大家指的方向都不一樣,打開報紙就能看到各種恐懼。他的判斷是:這些風險高度不確定;最後可能有些會變成只是文書作業層級的小事,有些會比大家預期的嚴重 10 倍,而有些真正的風險甚至根本不在現在這張清單上。

轉折:靠「限制」求安全,歷史上沒成功(約 01:03–01:04)

有趣的地方在這裡。人類最早對火的安全手段其實是限制:curfew(宵禁)一詞源自法文,原意就是「熄火」。中世紀很常見的情況是,你家晚上還有火在燒,警察會來敲門要求你熄掉。這顯然是降低這項技術的能力——而至少在這個案例上,它並沒有奏效:倫敦大火還是在宵禁制度下發生了。

AI 這邊比較複雜。有些限制看起來運作得相當好,例如絕大多數平台都遵循禁止非合意親密影像(NCII)的限制;但也有人倡議對開源模型設限,那些其實並沒有真的被實施。他的結論是:在 AI 這邊,限制這條路也沒走出好結果。

火真正變安全的方式:沒有 silver bullet,只有多層生態系(約 01:04–01:07)

那火到底是怎麼變安全的?結論是根本沒有單一解方,最後靠的是一整套多層次的生態系:

• 火災早期偵測系統
• 受過專門訓練的消防隊、專用消防車、特別設計的水帶
• 城市層級的供水網與消防栓——而且要有足夠的壓力與水量才能真的滅火
• 建材的更替:從木造換成金屬與混凝土
• 檢查制度、保險
• 指定的逃生出口與動線

一旦這些都到位,火就不再是我們特別擔心的事——我們能夠完全享受它的好處。這套做法有效嗎?效果好得驚人:今天的城市密度比中世紀高一個數量級,起火來源也多得多(電力、瓦斯、工業,甚至資料中心),但火災已經不是一般人會擔心的事情。

對照回 AI:三個「硬化環境」的例子(約 01:07–01:09)

他觀察到 AI 圈的人普遍在找那個 silver bullet,認為會有某一個解方讓 AI 走向好結果——他認為這個思考方式是錯的。而且只把個別模型對齊也不夠,那是解方的一部分,但生態系裡需要的解方不只一個。三個具體例子:

• 生物安全:模型在生物領域已經相當強,很多人擔心模型讓製造大流行變得容易。如果這是風險,而且我們同時假設先進的開源模型會擴散開來,那麼只在前沿實驗室裡對這些能力加 guardrail 就不會夠——該做,但不夠。我們可能需要硬化環境本身:例如有人在思考空氣消毒,因為空氣一旦被消毒,病原體就無法散播。
• 資安:也許我們需要走到軟體被形式化驗證的程度,那才能防止它被超級智慧入侵。
• 安全事故:也許我們需要公開的事故資料庫,像航空業那樣公開通報事故,而通報者可以因為通報而獲得 safe harbor(免責保護)。

收尾:這是一份招募(約 01:09–01:10)

這些東西怎麼生出來?有些可以透過成立公司來達成,有些則要靠成立非營利組織。 但更根本的是:我們現在需要一批有能力的人——那種「能扭曲現實」的人、那種標竿型人物——自問「這個世界還需要被建造出什麼,AI 才會走向好的結果」,然後真的去建立那些新的機構與組織。而 OpenAI Foundation 這邊有大量資源可以支持這類努力。

最後一句話直接把責任交回台下:AI resilience 會不會成功,取決於在座的各位。

金句

"That's an evidence that AGI is not yet here."(約 01:00)

投影片翻不動時的自嘲。

"The great fire of London happened despite of curfews."(約 01:04)

限制技術能力並不等於安全——這是整場演講的支點。

"It turns out that there wasn't a silver bullet. … It ends up being a multi-layer ecosystem approach."(約 01:05)

火的教訓,也是他對 AI 的主張。

"It might not be sufficient to guardrail these capabilities within the frontier labs. … We might need to harden the environment itself."(約 01:08)

從「管好模型」轉向「改造世界」——這正是 resilience 有別於 safety 的地方。

"Whether or not AI resilience will succeed depends on people in this room."(約 01:10)