光子學是運算的未來

TL;DR

• 為什麼要蓋這些資料中心:AI 模型能連續工作並有 50% 機率完成任務的時間長度呈指數成長,現在已到約 24 小時;而電力供給是瓶頸——美國電網年成長率只有個位數百分比,frontier AI 的用電曲線會直接撞穿它。一個 gigawatt 級資料中心約等於紐約市(~7 GW)的量級零頭,而 1,000 個機櫃就是 1 GW。
• 瓶頸是 interconnect,不是算力:讓 GPU/XPU 彼此溝通才是今天推進 agentic AI workload 的主要障礙。若延遲趨近零、頻寬趨近無限,幾公尺外的 GPU 與同一顆晶片就沒有區別——這就是 strong scaling,讓上千顆晶片「像單一顆晶片一樣」運作。
• 實測效益與硬體規格:同樣數量 GPU、同樣 workload,訓練時間縮短 3 倍;推論的 pre-fill 快 3 倍、decode 的每使用者 tokens/sec 提升 11 倍。旗艦晶片 M1000 為 114 Tb/s(業界水準約 10 Tb/s),單條光纖 1.6 Tb/s(業界約 0.2 Tb/s);單一 M1000 機櫃就是數 petabit/s 的 I/O。

重點整理

AI build-out 與電力天花板(約 00:24:50–00:27:30)

世界正在進行一場大規模 AI 基礎建設擴張:德州、英屬哥倫比亞的資料中心用電量已達「地球最大城市」等級——紐約市大約 7 GW,而這在德州 Abilene 那樣的地方會變成「相當平均」的資料中心規模。

為什麼值得?因為模型能獨立工作的時間長度(給定複雜任務、有 50% 機率完成的執行時長)持續指數成長,現在已達約 24 小時,而且資料裡看不到飽和跡象。Harris 的說法是:我們正在壓縮「完成困難而有價值的工作」所需的時間。

但供給端跟不上:美國電網每年新增的能源只有個位數百分比成長,frontier AI 的用電曲線會直接衝破電網能提供的量。核能是選項之一(每 GW 資料中心配 10 座 100 MW 反應爐),但他要大家先感受一下數量級——一戶人家幾 kW、一個機櫃開始逼近 1 MW、1,000 個機櫃就是 1 GW,而這個會議廳大概只放得下幾百個機櫃。

為什麼是 interconnect:strong scaling 與「單一大腦」(約 00:28:00–00:31:00)

Harris 直接跳到結論:interconnect 才是今天的主要瓶頸。Lightmatter 用光連接 GPU 與晶片,單一波導/光纖傳輸 1.6 Tb/s——「一條光纖等於 1,600 戶人家的頻寬」。成果:

背後的目標是打造行為上等同單一顆晶片的巨型系統,也就是計算機科學意義上的 strong scaling。理想狀況:兩顆晶片跑同一個 workload 該得到兩倍效能,一千顆該得到一千倍;但多數 workload 不是 embarrassingly parallel,需要同步、需要共享運算的一部分。極限解法是零延遲 + 無限頻寬——那樣的話,幾公尺外的 GPU 與本地晶片就沒有差別。Lightmatter 在做的就是逼近這個「完美 interconnect」。他預期未來兩年會看到第一批上千顆 GPU/XPU 表現得像單一顆巨型 GPU 的系統。

硬體與可靠性(約 00:31:00–00:32:50)

• M1000:號稱世界最快的光通訊元件,114 Tb/s;上下緣接光纖,每條 1.6 Tb/s。對比:業界最先進約 10 Tb/s、單纖約 0.2 Tb/s——「到處都是 10 倍」。連接北美與歐洲的海底電纜約 200 Tb/s,不到兩顆這種晶片。
• 機櫃:單一 M1000 機櫃就是數 petabit/s 的 I/O——「全世界的網際網路流量,等於左邊那一個 Lightmatter 機櫃」。
• 可靠性:規模化 AI 平台的一大挑戰是可靠性。10 萬顆 GPU 的資料中心會有約 1,000 萬條連線,這些連線不能出錯,否則凍結訓練、拖垮推論。因此 Lightmatter 自建整座驗證用資料中心,同時運轉數百到數千套平台,證明它們就是不會掛。

金句

"I don't know anybody who can work for 24 hours non-stop and have a 50% chance at solving a hard technical problem. Certainly I can't do it."(約 00:26:00)

用來說明模型自主工作時長曲線的意義——這條曲線就是整個 build-out 的動機。

"It enables you to build gigantic computer systems that behave as a single brain."(約 00:29:33)

Lightmatter 對「光子學能給你什麼」的一句話回答。

"The entire world's traffic, internet traffic, is a single rack from Lightmatter M1000 there on the left."(約 00:31:54)

一個讓人記住的數量級對照。