座談:Agentic AI 基礎設施與平台

開場框架:從 chat 到 machine speed(約 01:35)

Todd Graham 給的背景:ChatGPT 時代的介面是 chat——一個請求、一個回應、相對短的 context、短爆發式互動。agent 則以 machine speed 運行,有時一跑就是好幾個小時(「你有 12 個 agent 幫你整晚寫程式」),伴隨龐大的工具呼叫量與 token prefill。他問全場:有沒有人設了 agent 跑一整晚、醒來發現 token 額度被自動續購了?——幾乎全場舉手。

主題一:今天 agent 工作負載最大的失敗點在哪?(約 01:36–01:39)

• Chuan Li:答案就在問題裡。想像把 machine-speed 的車流放上一條為人類駕駛設計的道路——先壞掉的會是道路容量、紅綠燈與速限。機會在於把這些 choke point 變成 checkpoint。
• Jonathan Cohen:癥結是 LLM 這個元件——它們可靠得出人意料,但也會做出出人意料的事、以不可預測的方式行動。所以最大的機會是用規則式的政策強制執行、更確定性的系統與記憶體系統把它包起來,讓你對它實際在做什麼更有信心與確定性。
• Saurabh Tiwary:這個答案一直在變、也一直在演化。
• 計算層:要把 bubble 盡量消掉才能榨出效率。
• 基礎設施層:請求來自世界各地,routing 要能削平尖峰,才能以低延遲有效率地使用算力。
• 語音正在成為很有意思的互動媒介,它的 profile 跟純文字完全不同——怎麼管理這種使用情境與計算環境的異質性是問題。
• 主權(sovereignty)需求越來越重要,而它某種程度上打破了共用雲的哲學,增加大量工程複雜度。
• 加上 identity、security,這些正在極快地變成非常大的問題。
• Peter DeSantis:「我的答案也是全部。」這從堆疊最上層到 guardrails、到基礎設施、到電力、到跑它的晶片,都是系統問題,而且每一環都得對——agent 的潛力很大,但如果做不到高效率,我們只能拿到其中一部分。

追問:那最該搬的大石頭是什麼?如果有人今天就想動手,你會指向哪裡? DeSantis:「我是樂觀主義者,所以我不擔心,我找機會——而我在每一層都看到機會。你剛剛已經聽到 16 個問題和上百個約束了,挑一個、鑽深、玩得開心。」(Todd 接梗:「也許明天下午就去蓋一座記憶體廠?」)

主題二:agent 工作負載和 LLM 工作負載,硬體該怎麼分化?(約 01:39–01:42)

Jonathan Cohen 是主要回答者:

• context 更多,而且「這些 context 裡有多少是可快取的」這個比例也變了。
• 異質性:agent 是「被電腦科學包住的 LLM」,而那些電腦科學很多跑在 CPU 上、可能是多核心 CPU;也有很多跑在 GPU 上,但可能是為不同種類工作負載配置的 GPU——不是神經網路推論,而是例如物理模擬。
• 所以跑 agentic 工作負載的資料中心非常異質:許多不同的處理元件、多層儲存、複雜的網路拓撲。
• 疊在上面的還有 security、privacy、sovereignty 需求。
• 老實說,業界還不太知道最好的做法是什麼,因為 agentic AI 還在演化。AI 史上這件事反覆發生:我們以為懂了,然後新東西出現、工作負載完全不同、又更複雜。
• 結論:「Agentic AI 工作負載比我們見過的任何東西都更複雜、更異質、計算上更昂貴。」

主題三:企業要 workflow-specific 的 agent,答案是 fine-tuning 還是 context engineering?(約 01:41–01:43)

Saurabh Tiwary 給了一條由簡到繁的階梯:

1. 先試 context engineering——這是最簡單的。base LLM 本身的推理能力已經夠強(Gemini 與其他模型皆然),配合長 context window,你可以塞進大量資料讓模型在其上推理;而且模型「在 context 中推理的品質」已經明顯提升。
2. 要真的動模型,從 LoRA 開始——最容易、最便宜,推論端也很有效率、成本效益好。
3. 再上去才是 full fine-tuning 或某種程度的 post-training——這時擾動的是模型的全部權重,等於你有了一份全新的模型副本,推論的動態也跟著改變,所以貴得多。
4. 極少數非常特殊的合作夥伴才會做真正客製的東西。

他的判斷是前兩層才是主力路徑。

主題四:observability / experiment tracking 該放在基礎設施裡還是獨立一層?(約 01:43–01:45)

Chuan Li:它確實是基礎設施,但和訓練用的環境不同。

• Environment 是 agent 行動與學習的地方;experiment tracker 則像記憶與量測,放在旁邊。
• 用大腦來類比:environment 訓練的是第一個大腦——學習進到模型權重裡,被壓縮、被內化,而且容量有界;experiment tracker 給你第二個大腦——學習進到 artifact 裡,沒有上界。
• 兩者之間有一條路可以接起來:把 system of record 轉成資料集,就能拿去 fine-tune、做 RL 等等。
• 至於該託管在哪:取決於你的資料管控政策。管制嚴格就自己託管;不是問題就用託管服務。但如果要拿來訓練/微調,就該放得離訓練夠近。

主題五:agentic stack 的利潤durability 在哪?(約 01:45–01:48)

Todd 的問題:我們夾在模型與 agent 產出之間,有 orchestration、sandboxing、runtime、memory、identity、eval——如果現在要進場,該做 memory 還是 sandbox?錢最後會在哪一層被賺走?

• Peter DeSantis(插話):「At the hardware.」(全場笑)
• Saurabh Tiwary:AI 之所以被採用,是因為結果的品質、或開發者/建造者的體驗品質。商業機會顯然巨大;呼應 Peter 的說法——問題有一堆,挑一個、鑽到非常深。只要你把對客戶的承諾交付到夠高的品質,價值就會在那裡被萃取出來。以 memory 為例:重點不是「我在做 memory」,而是你有沒有給客戶一個有說服力的體驗,讓他們真的能靠 memory 交付該交付的東西,而不只是「我用了 memory,這裡有些 prompt 被更新了」。這種價值橫跨整個堆疊——硬體層、模型層、agentic 層、應用層都有。而且因為 AI 的熱度與幾乎每家大公司的 CXO 都在想 AI,商業機會非常大,關鍵只在能不能交付價值。
• Chuan Li:完全同意硬體那一票,但也想補垂直整合這一點。因為他來自 neocloud,大家常以為雲運算是 commodity——大體上沒錯,但雲運算其實非常難:從土地、電力、資料中心建設,到 HPC 架構、orchestration、軟體與財務,是一整條垂直堆疊。而 agent 這一新層——你叫它 sandbox、叫它 harness、叫它 system of record 都行——是要被整合進這條垂直線的新一層。誰在那一層做得好,誰大概就能保住 margin。

主題六:neocloud vs hyperscaler,各自的優勢在哪?(約 01:48–01:50)

• Chuan Li(自陳從 neocloud 角度回答):市場夠大,容得下多個玩家,所以他樂於同時當 NVIDIA、Google 與 AWS 的友善同儕。neocloud 不需要什麼都從零自己發明,打法是「聚焦」:訓練與推論工作負載本來就塞不進通用運算雲,所以這個領域出現了大量創新——GPU、晶片間的高速互連、專用儲存與 orchestration(如 Kubernetes)。neocloud 後來加上去的,是把這些選項變成預設值並開放給大眾,這就是他們建出訓練/推論雲的方式。現在要對 agent cloud 做同樣的事。
• Peter DeSantis:回到「durable」這個詞——「我不覺得 neocloud 這個標籤本身特別 durable。」算力的機會與需求都很巨大;hyperscaler 交付了很多,新進的 neocloud 也切進來做了不少很有意思、很令人印象深刻的事。他不認為會有 80 家 neocloud,但會看到一些新業者隨時間長得越來越像 hyperscaler。而站在既有業者的位置,你要確保自己沒有被「只用一種方式做事」綁死到吃虧——如果你有成熟的雲業務,就要持續傾聽客戶需要什麼並回應。這就是大與小、既有與新進之間永恆的張力,兩邊各有利弊。

主題七:MCP 之外,agent 通訊協定還缺什麼?(約 01:50–01:54)

• Jonathan Cohen:需要被解決的是 agent 階層的通訊——一個 agent 生 sub-agent、sub-agent 再生 sub-agent,或者一個 agent 生出一整個協作團隊。這裡正在浮現一些通訊模式的最佳實務,而它們隱含了「對某個共享記憶體的 scope」:例如我有一個 agent 團隊、他們共享一個工作區,但另一個 agent 沒有存取權。所以需要新標準來描述這種 scoped shared storage、存取控制與 agent 間的訊息傳遞。這和過去建的東西不同——過去建的要嘛是 service、要嘛是人類尺度的東西;現在一個 agent 可以臨時 spawn 十萬個 sub-agent,而它們全都需要以某種複雜模式通訊。這些標準要被發明、被強制執行、被高效實作。
• Saurabh Tiwary:同方向補充——MCP 給你的是「agent 對資料源」的介面;還需要的是多個 agent 彼此對話,也就是 shared memory 與通訊那條線,例如 agent-to-agent(A2A)協定——已經存在,但還需要更多採用。另外在商務側,需要 agent 開始支援支付/商務,那會打開一個巨大的新機會;Google 有 ACP(agent commerce protocol)。這些都需要被生態系更充分吸收。
• Peter DeSantis:標準有不同的想法方式。有 de facto 標準——某些做法變得非常有效率,產業自然會往那裡走。但他希望我們在不需要的地方抵抗標準化:有些地方必須標準化(資安、低階 wire protocol、一堆東西要互通),但 AI 相當有彈性,agent 會自己找出有效率的協作方式,我們之後再去找工具與系統讓它更有效率。「希望我們暫時盡可能抵抗低階標準——我們要的是創新。」

主題八:Lightning round —— 最希望有人在做什麼?會勸他們再想想的又是什麼?(約 01:54–01:57)

• Chuan Li:授人以魚 vs 授人以漁。模型權重、你手上現有的解法,那些是「魚」——別抱著不放,價值會折舊。真正有長期複利價值的,是你抵達那裡的方法:工具、環境、system of record。
• Jonathan Cohen:他坦言想不出還有什麼是「該有人做但沒人做」的——每個他想得到的東西都已經有公司在做了,垂直的、水平的都各有七家。而這很好:agentic AI 顯然是 AI 的新前沿,從 security 到 storage 到垂直整合領域,都還有巨大的改進與創新空間。
• Todd 的補充:如果你在做某件事,假設你不是唯一有這個點子的人——你要非常清楚自己在跟誰競爭、這片海是什麼顏色、進去之後怎麼差異化。
• Peter DeSantis:呼應自己 keynote 的主題——在這個狂熱的年代,有個風險是看到進展就以為問題解決了;而這枚硬幣的另一面同樣危險:看著模型演化的方式、看著大實驗室的動作,你可能覺得「那裡完全沒有空間了」。要抗拒這種想法,因為今天看起來已解的問題,明天又會重新變成未解。「我知道這對你身為 VC 很重要,但我身為技術人深信這一點:This is very early days.」
• Saurabh Tiwary:給做終端產品/完整 agentic 解法的人一個提醒。既有的業務流程往往是多年演化出來的多段管線,而人們常做的是把 AI「灑」進管線的每一段——結果 AI 能帶來的好處被每一段的既有限制卡住,大幅稀釋。他舉的例子:停車場的車牌辨識——你可以「拍照、去背、然後一堆步驟」,每一步都灑一點 AI。應該反過來:看清楚 AI 的核心能力是什麼、而且永遠站在最新能力上(能力一直在長,不要用靜態的假設),然後從頭重新檢視整個業務流程,問「如果以 AI-native 的方式重建它,它會長什麼樣?」——建那個東西,才會交付顯著的價值。

金句

"The thing that break first are like road capacity, traffic light and speed limit. The opportunity there is how to turn those choke point into a checkpoint." — Chuan Li(約 01:36)

把 machine-speed 的車放上為人設計的道路,先壞的是基礎設施而不是車。

"Agentic AI workloads are significantly more complicated, heterogeneous, and expensive computationally than anything we've ever seen before." — Jonathan Cohen(約 01:41)

整場 panel 的共識句。

"An agent can in an ad hoc way spawn 100,000 sub-agents, all of which need to communicate in some complicated pattern." — Jonathan Cohen(約 01:52)

為什麼舊的 service 標準與人類尺度標準都不夠用。

"I'm not sure the label neocloud is a particularly durable label." — Peter DeSantis(約 01:49)

他不否認新進者的成績,但認為分類本身會消融。

"Hopefully we resist low-level standards where possible for a while. I think we want the innovation." — Peter DeSantis(約 01:54)

panel 上最明確的一處分歧:該現在標準化,還是先讓它長。

"This is very early days." — Peter DeSantis(約 01:57)

回到他 keynote 的 day one。