座談:Agentic AI 開發者平台

TL;DR

• 開放的論證是老論證:Matt White 把「open weight 天生危險」直接對照到 Linux 被 Steve Ballmer 稱為「魔鬼的作品」、以及當年密碼學被說會幫助犯罪的歷史。多數技術都是 dual use,AI 沒有例外;而在資安上,開放反而是把攻防拉回同一個水平面——大家都要有能力修補自己的基礎設施。
• 禁不了,也不該只禁美國:Mazin Gilbert 的論證是地緣的——就算美國把開源模型變成非法,世界其他地方照樣拿得到、照樣可以拿來做壞事,而美國反而失去了防守能力。「這反而是更糟的位置。」
• 真正的問題是 harness,不是 weights:Mazin 對近期一連串事故的判斷很直白——「這些跟模型無關,發生在 closed model 上,也可能發生在 open model 上。」模型越來越聰明是事實,但agent application、harness、containment 這一層還沒跟上這個複雜度。Matt 預言:「兩三週後我們不會再談 open vs closed weights,我們會談 harness。」
• 一個有趣的反直覺數據:Dmytro 說他們拿開源與閉源模型跑資安 benchmark,結果開源模型分數明顯較好——因為 frontier 模型直接拒絕跑這個 benchmark,即使 prompt 已經明講「我在修補自己的 codebase」。這也呼應了 OpenAI / Hugging Face 事件的體驗:在資安領域,要在通用 model API 層畫出正確的決策邊界極其困難。
• 「每一家公司都會被駭」:Ivan Burazin 給了全場最悲觀也最實際的一句:未來 12 個月每一家公司都會被駭,沒被駭的唯一原因是運氣——你剛好不是目標。Hugging Face 也不是被針對的,但還是中了。
• fine-tuning vs context 的分歧:Mazin 主張 context 就做掉 90% 的工作(透明、可天天改),只有少數情境真的需要 fine-tune;Matt White 和 Dmytro 則站在專用模型那邊——一旦產品有真實流量與資料,方程式就變了,這才是企業真正的護城河(決定 quality,順帶降低成本)。
• 別再只想著模型:Matt White 的收尾提醒——很多企業連 prompt caching 都沒用上,「錢就這樣丟進水桶裡」。要從 model thinking 轉向 systems thinking:model routing、prompt caching、架構設計。

重點整理

各自站在 stack 的哪一層(約 01:25–01:28)

主持人 Megan Morrone(Axios AI+ 電子報編輯,25 年科技記者)請每位講者自介,並說明自己最感興趣或最擔心的是 stack 的哪一層:

• Ivan Burazin(Daytona):基礎設施公司,主要提供 agent 執行用的 CPU cloud——從 background agent 到協助 RL runs。
• Matt White:過去幾年在 Linux Foundation 領導 AI 相關計畫、帶 PyTorch Foundation 兩年半。他最關心的是非競爭領域:大家可以一起做規格與標準、把 agentic AI 的共用基礎設施建起來的地方。
• Dmytro Dzhulgakov(Fireworks AI):同樣是基礎設施平台層,幫開發者與企業用 open model 建「specialized intelligence」、跑 inference、做大量 RL 與 fine-tuning。他自介前一段人生是 PyTorch 核心維護者五年。他最興奮的層是 model customization——如何讓每個人都能為自己的業務把 AI 特化。
• Mazin Gilbert:主持 Linux 底下的 Agentic AI Foundation,六個月前以 MCP 為起點成立的非營利基金會,目標是推動 agentic AI 領域的開源與開放標準採用。他的立場是「從 openness 開始談」——開放如何驅動創新。

主題一:open weight 是不是天生不安全(約 01:28–01:35)

Megan 開場就承認「這台上沒人站在 closed 那邊」,於是自己扮演魔鬼代言人。

Matt White 用歷史打這個問題:當年 Linus Torvalds 做出 Linux,Steve Ballmer 那邊的敘事是「開源是魔鬼的作品」;密碼學也一樣,說法是「這會讓犯罪份子做壞事」。多數技術都是 dual use,AI 沒有不同。 他願意讓步的部分是:如果你在 frontier 上做出某種可能對社會造成負面衝擊的能力,labs 確實該想清楚要不要放出來。但在資安這一塊,論證是反過來的——每個人都應該有能力防守與修補自己的基礎設施;如果這件事被中央集中管理,不用多久別處的 open model 就會補上這個能力,那時候攻擊方反而取得巨大優勢。「openness 把攻防拉回同一個水平面。」

Mazin Gilbert 的基金會兩邊的成員都有(從 Anthropic、OpenAI 到其他)。他分兩點:

1. 不論開閉,accountability 是一樣的:每一家做模型的公司都有責任跑 benchmark 與測試、確保模型可安全使用,並且對「跑了哪些測試、模型有多安全」保持透明。這個透明度今天並不完整,是整個生態系需要推動與標準化的方向。
2. 開放本身就是安全機制:開放代表所有人都能取得、測試、修改、改進;封閉則是只有門後的一小群人有 access,其他人拿到的只是一個 API。歷史上的大革命——Unix、Kubernetes、PyTorch——都是開放的。

Megan 追問「是不是就這麼簡單:OpenAI 和 Anthropic 要 IPO、要錢,所以留住祕密?」Mazin 沒有正面接,而是給了地緣論證:就算你在美國把它變成非法,世界其他地方還在。你等於讓其他人可以拿來做惡意用途,而你手上的模型又不讓你防守自己——「這反而是更糟的位置。」他也很誠實地補了一句:在座有些人主張開放是因為有金錢誘因,敘事往往反映說話者的立場。

Matt White 補充自己的立場:「我很 pro-open,但這不代表我 anti-closed。」兩種方案在市場上都有位置,讓消費者決定;而競爭本身會壓住價格——「我不想付每百萬 output token 300 美元。」開放模型的存在拉低了兩家主要閉源實驗室的成本。他也承認 open model 不會拒絕某些任務,因此責任在 host 與服務提供方:如果你把服務賣給企業客戶或下游消費者,guardrail 就是你要放的,「不是所有東西都得烤進模型參數裡」——classifier、ACL、harness 改良都是可用的工具。

Dmytro 接 guardrail 的話題,給了本場最尖銳的一個觀察:guardrail 應該聚焦在應用層而非核心技術層,尤其資安領域 dual use 的性質讓「正確的 guardrail」極難定義。他們實測跑過閉源與開源模型的資安 benchmark,結果是——

現在的 open source 模型表現比 frontier 好得多,因為 frontier 直接拒絕跑這個 benchmark,即使 prompt 已經明講「我在修補我自己的 codebase,我要找出漏洞」。

他的結論:在通用 model API 層要畫出資安的決策邊界極難,規範應該往別處移。歷史教訓(密碼學管制、Linux)都指向同一件事——保護環境最好的方式是讓更廣的社群有能力防守自己,而不是限制技術本身。至於其他真正危險的領域(尤其涉及物理世界的),那裡有實體瓶頸,管制反而更務實。

Ivan Burazin 從責任歸屬切入提問:如果我自己 post-train 自己的模型、自己跑,責任在我;但如果是你們(平台)幫我跑呢?Dmytro 的回答用 AWS 類比:大規模惡意行動當然會配合政府關掉,但 AWS 不會去稽核你上傳的每一個 Docker container ——這對基礎設施提供者是合理實務。「你不能把 regulation 的責任放在沒有連到 application 的地方。」

主題二:敘事變了,但本質沒變(約 01:38–01:40)

Megan 引用 Anthropic 那週的說法(pro-closed 但不 anti-open),問記者是不是把這件事炒大了。Matt White 的觀察是:

兩週前的敘事是「closed 天生不安全」,現在變成「我們在 frontier,而 frontier 不安全」——所以順著推,open 也不安全,closed 也不安全,但至少 closed 我們可以當好的守門人保護世界。敘事換了,底層訊息還是同一個:open 天生不安全。而這個訊息沒有根據。

他唯一認為值得認真討論的例外,是模型真的觸及某種會讓世界或基礎設施陷入危險的 frontier 能力——這正是現在很多人開始談的(他提到 Demis 曾提議設一個群體來判定某樣東西是否屬於 frontier 等級、該不該被 gatekeep)。他也給了一個實務觀察:美國的安全測試相當嚴謹,會拖慢模型發表;中國那邊沒有同樣的嚴謹度,post-training 完就出貨。各國會不會對「當好的守門人」達成一致,他持保留態度。

主題三:事故的真正原因是 harness(約 01:40–01:45)

Mazin Gilbert 對近期一連串漏洞事件的判斷最直接:

過去一個月我們經歷的這些漏洞,跟模型一點關係都沒有。它發生在 closed model 上,一樣可以發生在 open model 上。

他的分析是:模型變得越來越聰明是事實,問題在於模型外面那一圈——agent application、harness、containment——還沒跟上這個複雜度。不論最後走向哪裡,開放與封閉都會有空間;而不論用哪個模型,建應用、出貨給客戶的人就是要負責:containment layer、guardrail、關鍵決策的 human in the loop、gateway。他點名一個細節:如果有 gateway,通常你不會允許 agent 在沒有 gateway 的情況下直接對外通訊。

Matt White 補了脈絡(他稱之為「給 Dawn 一點 credit」):那個模型當時是在跑 ExploitGym、被要求測試資安能力,它找到一個 zero-day,而 proxy 是它唯一能碰到網際網路的路徑。他也丟出一個推測:有些新模型可能是刻意用「尋找系統可利用漏洞」的 trace 來訓練以獲得這個能力——也就是說,這不是 emergent property,而是 RL 過程的一部分。

Ivan 提出一個「本來應該做但沒做」的觀察:你其實可以先用同樣的 agent 或 harness,去找出這個環境有沒有 zero-day exploit,再把那個任務交給它。Dmytro 接著說,監控也一樣可以自動化——用同等能力的模型去看 trace、監控行為,「這是完全可觀測的,就是好的安全系統實務」。

Dmytro 把這件事放進更長的脈絡:模型很擅長 reward hacking。他舉自己的例子——PyTorch 那邊的 GPU MODE、CUDA kernel 撰寫競賽,「模型找出的作弊方式之多令人驚嘆,直到你把每一條路都堵上為止」。你就是燒 compute、燒 intelligence 去找答案,不管走哪條路。但這些洞是可以一個一個堵上的,而且你可以用更強的模型幫你堵。

在我看來這跟以前的開放網際網路資安討論沒有本質不同。差別只是規模與迭代速度——因為很多情況下沒有 human in the loop,突然快了 10 倍或 100 倍。

Ivan 給了本場最有記憶點的一句:未來 12 個月每一家公司都會被駭。「唯一沒被駭的原因是運氣——你剛好不是目標。Hugging Face 沒有人想駭他們,但他們還是被駭了。」在達到攻防平衡之前,你就該假設自己會被駭,而所有資料都會外流,「那才是比較可怕的部分」。

Megan 挑戰 human-in-the-loop 這個答案:OpenAI/Hugging Face 事件與 Anthropic 模型被意外給了網路存取權,兩件都是人為疏失,不是 agent 的錯;而我們一直聽說 agent 會變得比我們聰明——「明年這個會議上,會不會是 agent 拿著 harness?」Dmytro 的回應是:即使 harness 更自動化,初始設計與 meta-task loop 的設計責任仍在 application 或人身上,這不是新東西。

Mazin 則收在同一個位置:我們建的是被激勵去解決問題的 agent 系統;OpenAI 和 Hugging Face 的事件裡,agent 被告知去解 benchmark,而它就精確地做了這件事——在系統裡找出漏洞來達成目標。「這一個解決了,下個月還會有 20 個。」他也提到幾個月前 AWS Kiro 那次是 prompt injection(待確認,見下)。真正的功課是把系統建得能對未預期的漏洞有韌性——不論那是資安威脅,還是 agent 自己找到的系統漏洞。

主題四:fine-tuning、context,與「specialized intelligence」(約 01:45–01:52)

Megan 轉向成本與可靠度。現場舉手調查「有多少人 fine-tune 過模型」,舉手比預期多。

Mazin Gilbert 的立場偏 context:大規模 fine-tune 一個模型很貴(compute 加人力),你會這麼做通常是為了特定 sector 的特定行為改變——例如電信商需要模型懂 telco 的行話與產業行為。但一般而言 context 就做掉 90% 的工作:它透明(你看得到自己給了什麼)、你可以每天每週改。「我是 context 的大力支持者,真的需要 fine-tuning 的情況只有少數。」

Matt White 自稱唱反調:他更看好不過度參數化的 domain-specific / task-specific 模型。「如果我要做的只是重度文件處理與解析、QA 之類,我不需要 2.8 兆參數。」你可以塞 context,但如果你做過 fine-tune 和一些 RL,把自家企業的 domain knowledge 拉進來,模型對你會更有效率,inference 成本直接掉下去——講的是 200 億參數等級,而不是兆級。

Dmytro 精確化了那個 90%:「那是 90% 的品質。」如果你在建 use case 或做原型,塞 context 當然最簡單;但一旦有真實資料流過你的產品,方程式就變了。他看到兩類客戶都在走這條路:

• AI native 新創:規模化之後就開始找 fine-tuning、RL,因為有了 user data,可以做出根本上更好的產品。
• 傳統企業:正在意識到自己手上有數十年的內部流程與資料——那才是讓這家公司特別的東西;而 context 能塞的量有限,他們也未必願意把這些資訊貢獻給人人都在用的通用模型、稀釋自己的優勢。

他還指出一件常被忽略的事:frontier labs 自己也在做同一件事——「Claude Code、Codex 存在是有原因的,它實質上是一台資料收集引擎,讓模型變更好;他們百分之百在為自家產品的最佳使用情境 fine-tune 模型。」所以如果我們要一個公平的競技場,就該讓每一家企業都能做這件事。他的賭注是:未來大規模的 use case,很大一部分會是客製化的專用智慧,主要為了品質,附帶好處是成本大幅下降——「你不需要整個 Fable 尺寸的模型來解一個窄的 use case。」

Ivan 補上 continual learning 的角度:不只是歷史資料,而是每天或每週把新的使用資料拿回來訓練;他們一些新創客戶的主張是,在你要做的那件事上可以拿到比 frontier 更好的表現。

Matt White 收尾把層次拉高:我們太容易陷入「一切里程數都來自模型」的想法,然後是 harness、self-improving harness——這些都很酷,但企業裡還有很多其他東西。很多企業連 prompt caching 都沒在用,錢就這樣丟進水桶裡,因為沒有部署合適的架構。model routing、prompt caching 等等都能幫你調校整台機器。

要從 model thinking 轉向 systems thinking——真正的系統設計。

主題五:什麼讓你睡不著(約 01:55–01:58)

Megan 以「世界大多靠恐懼運轉」收尾,請每人講一件最擔心的事。

• Mazin Gilbert:未知。這場遊戲還很早期,有太多我們不知道的事;而這些 agent 如果沒建好,確實有能力造成極大破壞。「讓我夜不能寐的是模型外面那一圈,不是模型本身。」
• Dmytro Dzhulgakov:社會與政策對快速變動技術的反應——那些反應可能沒有被好好思考過,最後對社會本身或技術發展造成很大傷害;或者我們這些組織自己做了很蠢的決定,之後才後悔。
• Matt White:規模化的 disinformation campaign。如果一個人可以指揮龐大數量的 agent(「一人公司」的概念在中國特別流行),那麼一個人就能造成嚴重破壞;背後如果有 nation state,破壞會是巨大的。「我們今天已經在某個規模上受這件事所苦,而這個規模可以往上放大。」
• Ivan Burazin:「你們把話都講完了。」他丟出的變數是:目前這些模型與技術雖然充滿未知,但方向是已知的;真正可怕的是出現一種全新型態的技術或模型,把我們自以為知道與不知道的一切全部改寫——那時候恐懼與版圖會整個換一套。「這件事發生的機率非常不為零。」

金句

"As we increase... the narrative has just changed but ultimately the underlying message is still there, which is that open is inherently insecure — and again it's a very old message... there's just no basis to it."(約 01:39,Matt White)

敘事從「closed 不安全」翻成「frontier 不安全」,但底下要說的還是同一句老話。

"What we've experienced in the past month with all the vulnerabilities has nothing to do with the model. It could have happened to an open model — it actually happened to closed models."(約 01:41,Mazin Gilbert)

問題在 harness、containment 與 gateway,不在權重開不開放。

"Current open source models do much better than the frontier, because Frontier just refuses to run the benchmark — even if the benchmark has explicitly prompted 'hey, I am patching my codebase.'"(約 01:37,Dmytro Dzhulgakov)

拒答不等於安全:在資安 benchmark 上,過度保守讓 frontier 模型的分數輸給開源模型。

"I believe that every company will be hacked in the next 12 months — like every single one. The only reason you might not get hacked is luck."(約 01:44,Ivan Burazin)

Hugging Face 不是被針對的,但還是中了。

"Two, three weeks from now we're not going to be having this conversation about open versus closed weights. I think we're going to be talking about harnesses."(約 01:43,Matt White)

本場的核心預測。