可存續的系統、判斷力,與 AI 安全

TL;DR

• 現場的 AI safety 其實是問責問題:不是 Lovedeep 講的那種「可稽核」意義上的 accountability,而是有人要站出來說「這是我簽的,我負責」。而且這個壓力不只來自 EU AI Act,更來自不願拿自己事業去賭一個他們看不懂的 agent 的企業客戶。
• Good Regulator Theorem 是雙向的:1970 年 Conant 與 Ashby 的定理說,要委派權力,你必須擁有被委派對象的良好模型;反過來也一樣,被委派者也必須擁有委派者的良好模型,才知道什麼時候該把問題浮上來。若你把權力委派給一個大到你根本不理解它會怎麼解題的模型,你就完了。
• Agentic debt:把這種「沒有判斷力的權力下放」寫進公司的工作流系統,就是在囤積下游的麻煩——你不再理解自己的系統怎麼運作。Trent 的做法是反過來:不取代工程師,而是支援那些真正要負責的資安工程師。

重點整理

Accounting 不等於 Accountability(約 00:46–00:47)

Lawrence 一開場先鋪了 Trent AI 橫跨美歐的定位(他自己在紐澤西出生、住在英國),然後直接切進他在客戶端看到的真相:AI safety 在地面上長什麼樣子?它是一個問責問題。

Accounting is in the numbers. Accountability is in the human authority and the judgment.

而問題在於:

電腦把 accounting 做得非常好,但它們不會 accountability。它們不是社會意義上可問責的:它們不能被送進監獄、不會難堪、不會丟掉工作。而我們的社會完全建立在那種形式的問責之上。

由此推出他認為最關鍵的一道裂縫:

如果你把人類的帳(accounts)和問責(accountability)分開,你就把人放進一個看不懂帳、卻要為問責站台的處境。這就是我們必須橋接的鴻溝。

他也點出這個壓力的來源比法規更廣:「不只來自 EU AI Act,更是來自客戶,來自企業客戶——那些不願意拿自己的生意去賭一個他們不理解的 AI agent 的人。」而且他對未來的判斷相當篤定:「我不知道十年後的世界會是什麼樣子,但我可以告訴你什麼不會消失」——問責不會消失。

Good Regulator Theorem:委派權力的前提(約 00:47–00:48)

現況等於在沒有判斷力的情況下下放權力(devolve authority without judgment)。他搬出 1970 年 Roger Conant 與 Ross Ashby 的 Good Regulator Theorem 來說明為什麼這行不通:

如果我要委派權力,我必須擁有那個被委派對象的良好模型。

他的例子:如果我叫實習生去幫我泡咖啡,我必須有把握這位實習生會用合理的方式做這件事——他不會跑去駭進 NSA 來取得最佳咖啡配方,他就只是去泡一杯咖啡。

而且定理是雙向的:被委派者也必須擁有委派者的良好模型,這樣他才知道什麼時候該把問題浮上來——「咖啡機沒咖啡了,我不知道怎麼處理」之類的。

放到 agentic AI:

如果你把權力委派給一個大到、龐雜到你根本不理解它會怎麼解決這個問題的模型,你就完了(you're stuffed)。

他強調這不是理論擔憂,而是他們實際看到的問題:你不能用那種方式委派權力。

Agentic debt,以及 Trent 的做法(約 00:48–00:50)

避開這個處境的理由是它會製造 agentic debt:

如果你把這個東西寫進公司的工作流系統裡,你就是在囤積下游的麻煩。你不再理解自己的系統是怎麼運作的。

Trent 的切入點是資安——他們創立時就判斷這會是這個問題的第一戰線。而他們進到企業後聽到的話很一致:

我們不要你替我們做資安。我們要你支援我們的資安工程師做他們的工作,因為他們正在被淹沒。

(他順帶舉了 Apple 關掉 bug bounty 制度作為工程師負荷的例證。)關鍵是:那些資安工程師,才是在企業裡真正負責的人。

所以他劃出一條清楚的界線:

• 可以做的:用 agentic AI 系統去支援資安工程師。
• 絕對不能做的:走進去說「這是一套你沒看過、也不理解的系統,現在請你簽字負責、承擔部署責任」——那是徹底的災難。

最後他把開場那個「歐洲 vs 美國」的對比收回來:要橋接「everything everywhere all at once」與「not here, not now」這兩個世界,方法是跟客戶對話;而他看到 agentic AI 現在最大的問題之一,就是這種對話遠遠不夠。

所以當我們部署的時候,要記得:accountability is king。

金句

"Accounting is in the numbers. Accountability is in the human authority and the judgment."(約 00:46)

他自己在用的那句座右銘,也是整場的軸。

"They are not socially accountable. They can't be sent to jail. They can't be embarrassed. They can't lose their job. And our society is entirely based on that form of accountability."(約 00:47)

為什麼「讓 AI 負責」在字面上就不成立。

"If you're delegating authority to a model that is so large and so big that you don't understand how it's going to solve the problem, you're stuffed."(約 00:48)

Good Regulator Theorem 用在前沿模型上的直接推論。

"Accountability is king."(約 00:50)

全場最後一句。