Deepfake 與更多:Agent 如何用新工具緩解問題並提供脈絡

註:直播畫面在講者開場約一分鐘後才切入,本篇筆記自 00:00:00 開始,講題的自我介紹前段未入鏡。

TL;DR

• 趨勢被誤讀了:deepfake 自 2018 起確實成長,但 Google 追蹤的問題影像中,約一半的案例像素完全沒有被修改——造假的是脈絡(cheapfake / out-of-context),對這類內容跑 deepfake detector 會忠實地回答「這是真的」,完全無用。
• 問題該換一個:不要問「這是真的還是假的」,要問「這可信嗎?脈絡是什麼?」。
• 偵測是軍備競賽,但沒輸:標準做法(蒐集 Stable Diffusion 等生成圖 + 真圖訓練判別器)必須不斷追新模型;Google 另有一條路線,反推 prompting 與 noise map,對新模型較具不變性。八年前資安理論界預測社群「六個月內會輸掉這場軍備競賽」,八年後還沒發生。
• 兩種 provenance 並行:inferred provenance(反向圖片搜尋、全網索引,Google 15 年前就做了)與 asserted provenance(C2PA 密碼學帳本、SynthID 隱形浮水印)。後者正在起飛但覆蓋率仍小,所以兩者都需要。
• Agent 是把這些訊號縫起來的方式:Backstory 幾年前開始開發,去年夏天釋出 v1,近期釋出 v2——它不只跑生成偵測,而是把來源、歷史、上下文全部查一遍,把記者原本要花數小時到數天的調查壓縮到幾秒。
• 根因是社會科學:Bregler 明確說「根因不只是技術問題」,並指向 UC Berkeley 的社會學傳統(Arlie Hochschild 的 deep story 研究)與 AI 輔助的 reframing / bridging / deliberation(Habermas Machine、Polis),目標是「holistically 改善社會健康」而不只是即時擋下一則違規內容。

重點整理

Google 的定位:資訊品質 + AI 安全前沿(約 00:00–00:02)

Google 1999 年成立時的使命——「整理全世界的資訊,讓所有人都能取用」——今天依然有效,但現在有兩條線:原本的資訊品質(讓網路上最準確、最可信的資訊浮上來),以及新的 AI 安全前沿。

一份 Reuters 的研究顯示:即使你追求準確、追求品質,大眾對線上媒體的信任仍持續下滑。各國差異很大——芬蘭信任度最高,Google 所在的位置在中間。Bregler 提到他聽說芬蘭從幼稚園就開始做資訊素養教育,而其他地方的人沒那麼有批判性。

Google 的做法是三個支柱,其中最基礎的是媒體素養(media literacy):過去十年產品上那些小小的「三個點」按鈕,以及現在 AI Mode 裡的「了解更多」,核心理念是——Google 不仲裁真相(we don't arbitrate the truth),而是把最強的工具交給使用者自己判斷。

數據:deepfake 不是最大的問題(約 00:02–00:03、00:07–00:09)

Bregler 引用 Nick Dufour 與同事發表的追蹤研究。Google 與合作夥伴長期追蹤被使用者認為有問題的視覺與文字資訊:

• deepfake 自 2018 年爆紅,但一直到近期實際佔比都不高;圖上藍線是 deepfake,黃線與紅線是非 deepfake,而後者才是量體。
• 例子:伊朗方面用 Photoshop 把假飛彈合成進真飛彈照片裡——這是十年前就有的手法,不需要 GenAI。
• 當同一張圖 scale 到 100% 來看,GenAI 仍然只是一小塊。真正最大的問題是:一半的案例像素完全沒有被修改。

三個他現場示範的案例:

1. 一段爆炸影片被宣稱發生在伊朗、或發生在加薩——實際上是 2020 年某港口化肥倉庫的意外爆炸。跑 deepfake detector 會說「這是真的」,因為它真的是真的。
2. 「俄羅斯戰機飛越基輔」——實際上是十年前莫斯科閱兵的畫面。
3. 淹水街道上的鯊魚:他開玩笑說「只要你看到鯊魚或海豚,大概根本不用 deepfake detector,那八成是假的」;實際上鯊魚是南非海岸一位鯊魚研究者約二十年前拍的真照片,街景則是另一個地方,兩張被疊在一起。

這些正是調查記者要花數小時甚至數天寫深度文章才能拆解的東西,在規模上做這件事非常難。

偵測研究:如何跳出軍備競賽(約 00:04–00:07)

標準 deepfake 偵測流程是:蒐集大量生成圖(Stable Diffusion 等)與大量真圖,訓練一個判別器/agent。問題是下週出一個新的 GenAI 模型,明年出一萬個,你就得建立一條不斷更新的 workflow——這是純粹的軍備競賽。

Bregler 的團隊也做「如何待在軍備競賽之外」的研究,例如反向工程 prompting 與 noise map,目標是對未見過的新模型(zero-day)更具不變性。

八年前資安理論界就預測「我們社群會在六個月內輸掉這場軍備競賽」——八年過去了,還在等。工具箱仍然很大。

實務上:大量內部偵測器與訊號刻意不公開,以免給對手資訊;但 Google 與 YouTube 的所有介面背後都有這些偵測器。另外幾項:

• 身分保護服務:創作者或一般使用者若擔心被 deepfake,現在有服務會主動告警「我們認為有人剛剛 deepfake 了你」。
• 選舉政策:Google 是最早針對選舉廣告中使用 GenAI 訂定政策的平台。
• 偵測 API:在 I/O 上與 Cloud 團隊合作推出,目前幾乎所有公司都在測試,可申請成為 trusted partner 使用 Google 的內部偵測器。

他順帶點出一個學術界的錯位:deepfake detection 競賽非常熱門,大量博士生把所有時間投進去,但戰場其實在別處。

兩種 provenance(約 00:09–00:10)

• Inferred provenance(推斷式):從內容本身回推來源與脈絡。Google 15 年前就發明了反向圖片搜尋,並索引整個網路。使用者收到朋友傳來的「UFO 照片」,圈選後丟給 Google,回應不是「這是假的」,而是「這張圖在別的地方被標記為一朵雲」。
• Asserted provenance(宣稱式):近三年 Google 主導並與其他負責任的業者合作,包括 C2PA 標準(Adobe、Microsoft 等業界共同採用)與 SynthID 隱形浮水印。Google 的手機拍照時會用密碼學帳本標記「這是一張真實影像」;若之後修掉反光,C2PA 會透明地附註「這是在真實影像上疊加的 GenAI 功能」。

Asserted provenance 正在起飛,但覆蓋率還小,所以不依賴 provenance 的偵測器仍然必要。這是一個很大的混合體——你還是得到處看,才能知道到底發生了什麼事。這正是 agent 的切入點。

Backstory:把所有訊號交給 agent(約 00:10–00:12)

Google 幾年前開始建這個 agent,去年夏天釋出 v1,近期釋出 v2,它會把所有來源、所有訊號一起拉進來。

示範案例:社群媒體上有人宣稱「這些加州學生去春假旅遊並汙染了那座湖」。Backstory 不會只跑一個生成偵測器(那不夠),它會去查:學生真的有去那座湖春假嗎?有。他們有汙染湖嗎?沒有。

回到鯊魚那張圖:GenAI detector 會說「不是 GenAI」;Backstory 會告訴你這是一隻真鯊魚,約二十年前由南非海岸的一位鯊魚研究者拍攝,而那條街不在邁阿密颶風現場,兩者是疊上去的。

GenAI(偵測)在這上面沒用,但它會給你完整的脈絡,你和 agent 一起可以在幾秒內完成調查,而不是花上幾小時或幾天。

現場呼籲:掃 QR code 上網站註冊成為 trusted tester;另外 Google 在全球辦資訊素養活動示範怎麼用。評估報告即將發表——他開玩笑說「我當然不會告訴你另外那些模型是誰,當然我們是最好的」。

Agent 安全與 Google 的流程(約 00:13)

呼應 Dawn Song 當天早上的 keynote,Google 對 agentic 流程有既定的工作流:針對 agent 的特定產品政策 → 上線前測試 → 為安全而工程設計 → 持續監控 → 對外合作。

整體姿態可以這樣分:媒體素養(非常前瞻)、負責任生成(非常前瞻)、AI 安全(非常前瞻)、事後政策執法(反應式)。他形容反應式工作「像在急診室或當消防員,你只是在滅症狀」,所以團隊同時很用力地處理根因。

根因是社會科學,不是純技術(約 00:14–00:15)

這是他特別想在 Berkeley 講的一點:

根因不只是技術問題,也不只是「偵測這是壞的、那是好的」。根因是社會科學。

他提到近期在 UC Berkeley 與 Raka Ray、Caitlin Rosenthal 等教授合辦的 workshop,並說自己是 Berkeley 社會學家 Arlie Hochschild 的粉絲——她從 Berkeley 到路易斯安那州 Lake Charles 做田野,研究當地人對世界、對現實、對「美國夢」的不同理解,以及為什麼他們沒能實現西岸這裡定義的美國夢,寫成了 deep story 的研究。

前瞻方向:社會科學 × AI。Google 已經發表論文也有系統在跑——如果 AI reframing、bridging、deliberation 對你有意義,那就是他說的東西(他點名 Habermas Machine 與 Polis)。目標是:

我們想要 holistically 改善社會的健康,而不只是防止此時此刻的某一則政策違規。

最後他點名在場的團隊成員(Reena Jana,負責 trust & safety 的安全工作流;Amnes Sud,前述反推 prompting/noise map 論文的作者之一),表示團隊在這條安全軌道上投入很深。

金句

"We don't arbitrate the truth."(約 00:02)

Google 的自我定位:不當真相仲裁者,而是把最強的判讀工具交給使用者。

"Half of the cases are where the pixels are not modified at all. You're not lying with the pixels. You're lying with the context. And your deepfake detectors are completely useless."(約 00:08)

整場演講的核心數據與核心反轉。

"It's not — you should ask 'is this fake or real?' You should actually ask 'is this trusted? What's the context?'"(約 00:07)

問題換了,工具就得換:從 detector 換成 investigating agent。

"Security theoreticians eight years ago already predicted we as a community will lose the arms race in six months. I'm still waiting for that. It's eight years later."(約 00:06)

對「偵測必敗論」的溫和反駁。

"The root causes is not a technical problem alone … the root causes is social science."(約 00:14)

給 Berkeley 聽眾的收尾:資訊生態的真正修復需要社會科學一起上桌。