為 Agentic AI 而生的加速運算

TL;DR

• Agent = LLM + 電腦科學。LLM 是我們目前唯一能解開某些數十年懸而未決問題的方法,但它是機率性、非確定性的;軟體則相反——確定、可檢視狀態、可下斷言。agent 就是把兩者結合起來:拿機率模型的智慧,包上資料結構、演算法與幾十年累積的可靠軟體工程。
• 底層平台在硬體與軟體兩層都是異質的:部分工具跑 GPU、部分跑 CPU;複雜的儲存階層、agent 與 sub-agent 之間有 scope 的資料傳遞、越來越複雜的通訊模式、沙箱與 secure enclave;再加上大模型、小模型、微調模型與外部 API 上的專有模型混用。NVIDIA 的答案是 NVIDIA / NeMo Agent Toolkit。
• Harness 和模型一樣重要。他的團隊做的 NOOA(NVIDIA Object-Oriented Agents) 把 agent 就寫成一個 Python 物件:方法內容寫成 ...(ellipsis)就等於告訴 LLM「這塊你來填」,於是 agent 能寫出方法、呼叫自己寫的方法、修改自己的方法,並把需要記住的東西直接存成物件狀態;資訊用傳參考而不是壓成字串塞進 context。結果:同樣分數只用一半 token,CyberGym 上取得數一數二的成績,harness 帶來的提升相當顯著。

重點整理

Agent 的來歷與定義:LLM 加上電腦科學(約 01:13–01:17)

• ChatGPT 開啟現代 AI 時代時,大家想像的是「人對 LLM 說話」,模型也許能碰某個資料庫——本質是 chat。
• 今天想的是完整的自主系統:許多模型(開放權重與專有混用)、工具、基礎設施、記憶系統、context 管理、生 sub-agent 的能力、資安基礎設施;而發起互動的可能是人,也可能不是人。
• 所以什麼是 agent?agent 不只是一個 LLM,而是被「基礎設施」包住的 LLM——這裡的基礎設施指的是讓 LLM 真的能做事的軟體:在 API 之間 marshalling 資料、型別檢查、規則式的政策強制執行。「而我們用來包住 LLM、把它變成 agent 的這一整套東西,另一個名字叫做電腦科學。」
• 為什麼這是個好主意:LLM 極其強大,是我們唯一知道能解開一大類數十年未解問題的方法;但它們是機率性、非確定性的,這恰好是軟體的反面——軟體大致上是確定的,可以理解、可以檢視狀態、可以下斷言。
• 於是 agent 是兩者的結合:取用機器學習模型的智慧,包上確定性、資料結構與演算法的力量,以及我們花幾十年學會的「怎麼把軟體做得可靠」。
• (他開場時投影片也載入了舊版本,現場笑場——延續了 Dawn Song 稍早的插曲。)

異質平台與 NVIDIA Agent Toolkit(約 01:17–01:20、01:22)

典型 agent 的組成:管理送進 LLM 的 prompt 的機制、讓 LLM 存取工具並檢查權限的基礎設施——而這些現在跑在越來越複雜的硬體基質上:

• 部分軟體跑在 GPU 等加速運算基礎設施,部分跑在 CPU;儲存階層很複雜。
• 有 agent 與 sub-agent;有需要在系統之間傳遞的 scoped 資料;通訊模式越來越複雜;沙箱、secure enclave 等等。
• 平台在硬體與軟體兩層都是異質的,更別提模型的組合:大模型、小模型、你自己微調並特化過的模型、外部 API 上的通用專有模型。

NVIDIA 把這一整套叫做 NVIDIA Agent Toolkit,包含:

• 部署:從 Kubernetes 到託管基礎設施、computer-use agents。
• 加速工具(CUDA-X):例如計算流體力學、解微分方程、DNA 定序儀資料的次級分析——都是有加速解法的電腦科學任務,現在被 agentic 化成 agent 可呼叫的工具。
• 開放權重模型:Nemotron(通用模型家族)、機器人與 physical AI 的領域模型、BioNeMo(生物預測模型)。
• 執行與治理:能部署與執行各種模型的基礎設施;把系統包起來、確保 AI 不做你不想要的事的沙箱環境;以及盡可能高效地跑完這一切。
• 知識回流:捕捉流進流出系統的知識,拿來 post-train 出在你關心的任務上特化的模型。他把「離線改進 AI 的能力(例如用 RL 做 post-training)」也算進基礎設施本身——常見用法是把小模型特化到某任務上,做得和大得多的通用模型一樣好。
• 其他元件:NIM 與 Dynamo(部署)、NeMo Relay(捕捉 trace)、Switchyard(routing 演算法)、blueprints(開源參考實作,示範怎麼把這些拼起來解特定任務,例如建一個 OpenClaw、或 AIQ 這類研究助理 agent)、OpenShell(執行期防火牆,控制 agent 與外界之間的存取)。這些已被許多合作夥伴部署採用。

Harness 很重要:NOOA(約 01:20–01:22)

• 他特別想談 agentic 系統與 LLM 之間的介面,也就是大家說的 agent harness。「The harness really matters.」LLM 封裝了大量智慧,但 harness 決定你能取出多少。
• 他的團隊近期做的是 NOOA(NVIDIA Object-Oriented Agents),GitHub 上有(演講中掃 QR code)。核心想法非常簡單:agent 就是一個 Python 物件。
• 你用 Python 寫 agent;方法的內容寫成特殊的 ellipsis(...)語法,等於對 LLM 說「這塊由你填程式碼」。
• 於是 agent 能自己修改自己:呼叫它寫出來的方法、修改自己的方法;判斷「這是我需要記住的資訊」就直接存成 Python 物件的狀態;把某個計畫或解題方式編碼成一個方法,之後再呼叫。
• 另一個關鍵想法:傳參考而不是傳字串——因為全都是 Python 物件,不必把資訊壓縮成字串塞進超長 context。
• 結果(細節見 tech report):相對於單純用 LLM、甚至相對於其他 agent harness 都有顯著提升;例如同樣分數只用一半 token,以及 CyberGym 上數一數二的成績——harness 帶來的提升在這個案例上很可觀。

金句

"Another word for all of this stuff that we surround our large language model with that makes it into an agent is computer science."(約 01:15)

整場演講的定義句。

"They're the only method we know of to solve all sorts of problems that were previously unsolved … But at the same time they're probabilistic and they're non-deterministic. This is precisely the opposite of software."(約 01:15–01:16)

為什麼 agent 必須是「機率 + 確定」的混血。

"Agentic AI workloads are significantly more complicated, heterogeneous, and expensive computationally than anything we've ever seen before."(panel 中補充,約 01:41)

同一位講者在稍後 panel 上對硬體含意的總結。