演講 Session 2: AI Systems
以機櫃級共享記憶體 KV Cache 實現分離式 LLM 服務
Jongryool Kim — Senior Director / Head of AI System Infra., SK hynix
把一台實體上獨立的記憶體池放進機櫃中央,讓多個節點看到同一段位址空間,KV cache 就不必再靠 RDMA 在節點間搬來搬去——prefill 寫一次、decode 直接讀,舊的 KV cache 順便留在池裡供下次重用,同時立刻釋放 GPU HBM 並消除 PCIe 爭用。
TL;DR
- 兩種模式,他們押注在後者:這個實體分離的記憶體池支援 (1) memory pooling——每個節點動態配置額外記憶體,但區域彼此隔離;(2) sharing mode——多個節點看到同一段記憶體位址空間、能存取同一份資料。SK hynix 感興趣的是 sharing。
- 比 RDMA 更快:一般節點間搬資料會從 TCP/IP 升級到 RDMA,但基於共享池記憶體的資料共享比 RDMA 更快。加上 KV cache 一存進池裡就能立刻釋放 GPU HBM——prefill 側或 decode 側就算 OOM,prefill 仍能繼續。
- 三重收益:更快的節點間資料移動、即時釋放 HBM、以及消除 KV cache 存取在 GPU 側與網路側 PCIe 頻寬上的爭用。套用到 agentic AI 服務(需要重用大量 KV cache)後,對比 Mooncake 的 KV cache 方案已看到效能提升——但他強調這是非常初步的數字。
重點整理
架構:什麼是「實體分離」的記憶體池(約 00:36:59–00:38:50)
Jongryool Kim 是 SK hynix 的 senior director。他要談的是一種新的記憶體形態:實體上與伺服器分離的池化記憶體(physically disaggregated pool memory)。
架構圖上是多台伺服器節點,加上一個獨立的記憶體池機箱,多台伺服器可以同時使用這個記憶體池,有兩種模式:
- Memory pooling:每個節點可以動態配置額外記憶體,但各節點的記憶體區域彼此隔離。
- Sharing mode:多個節點看到同一段記憶體位址空間,因此每個節點都能存取同一份資料。
他明說:「我們對 sharing 這個特性非常有興趣。」——這正是整場演講的技術支點。
他們很快就把這個記憶體池整合進 LLM 服務系統,並在去年多場活動上成功部署與展示。示範架構是四台伺服器跑各種 LLM 服務元件,機櫃中央放一台 Niagara(約 00:38:45)——那就是真正的實體池化記憶體。
KV cache 怎麼流動,以及為什麼會變快(約 00:38:50–00:40:50)
示範場景是用記憶體池來傳輸 KV cache:
- 先做 prefill;prefill 完成後必須把 KV cache 送到 decode 側。透過兩次記憶體操作(store 與 load),KV cache 就送到了 decode 節點。
- 關鍵在於:舊的 KV cache 會留在記憶體池裡,所以下一個請求可以直接重用,不需要任何額外的儲存操作。
結果是相對於全部重新計算(recompute),以及相對於 NIXL 與 in-server DRAM 為基礎的 KV cache 儲存方案,系統效能都有提升。
但他更在意的是「為什麼會有這個好處」,他給了三個理由:
- 更快的節點間資料移動。一般不會用 TCP/IP,而會用 RDMA——RDMA 很快,但基於池化記憶體的資料共享比 RDMA 更快(約 00:39:59),所以 LLM 服務系統的效能得以提升。
- 可以立刻釋放 GPU HBM(約 00:40:11)。把 KV cache 卸載到池化記憶體之後,HBM 馬上就能還回去。實務意義是:就算 decode 側或 prefill 側發生 out-of-memory,prefill 仍然可以繼續做,因為那份 KV cache 已經上傳到池裡了。
- 消除爭用。為了儲存與重用 KV cache,GPU 側與網路側的 PCIe 頻寬都會出現大量爭用;用池化記憶體做資料共享傳輸,就能把這類額外爭用移除。
套用到 agentic AI 服務,以及接下來要做什麼(約 00:40:50–00:41:48)
Agentic AI 服務的特性是必須重用大量 KV cache,所以他們把這套池化記憶體環境套用到 agentic AI 服務系統上,對比 Mooncake 的 KV cache 方案量到了效能提升(約 00:41:11)。他自己主動加註:這是非常初期的效能數字。
接下來(約 00:41:20):今年年底前,他正與約 25 個合作方協作,準備五套以上的系統 PoC,包括 multimodal serving 與 runtime memory management;目標是用池化記憶體打造真正上線的系統,面向 HPC 等級的國家級系統。
結語:「讓我們看看池化記憶體會怎麼改變 AI 系統。」
金句
"This pooled memory based data sharing is faster than RDMA."(約 00:39:59)
這是整套架構的核心賣點——不是「另一種搬資料的方式」,而是比目前最快的搬法更快。
"We can release the GPU HBM immediately by offloading the key cache to the pool memory."(約 00:40:11)
KV cache 從「佔住 HBM 的負擔」變成「放在池裡的共用資產」。
"Let's see how the pooled memory can change the AI system."(約 00:41:45)
演講的收尾,也是這條技術路線目前的狀態:方向明確,證據還在累積。
提到的專案與資源 / Projects & Resources
| 名稱 Name | 說明 | Description | 備註 Notes |
|---|---|---|---|
| Niagara (SK hynix) | 放在機櫃中央的實體池化記憶體裝置,支援 pooling 與 sharing 兩種模式 | SK hynix's physical pooled-memory box placed mid-rack, supporting both pooling and sharing modes | 已查證:SK hynix 的 CXL 分離式記憶體原型(多埠、支援 memory pooling / sharing);演講未明說 CXL |
| Mooncake | 對照組:以 KV cache 為中心的分離式服務架構與其快取層 | Comparison baseline: KVCache-centric disaggregated serving architecture and its cache layer | 逐字稿 "moonake" |
| NIXL | 對照組之一,推論資料傳輸函式庫 | One of the comparison baselines; an inference data-transfer library | 逐字稿 "nxl";名稱待確認 / to verify |
| TraCT | 與本講題幾乎同名的論文:Disaggregated LLM Serving with CXL Shared Memory KV Cache at Rack-Scale | Paper with nearly the same title: Disaggregated LLM Serving with CXL Shared Memory KV Cache at Rack-Scale | arXiv 2512.18194;演講中未提及名稱,關聯性待確認 / not named on stage, relationship to verify |
| RDMA | 目前節點間資料搬移的主流做法,作為效能對照基準 | The prevailing approach to inter-node data movement, used as the performance reference point |
逐字稿勘誤 / Transcript Corrections
| 字幕原文 Heard as | 應為 Should be |
|---|---|
| Jang R Kim / Junior Kim | Jongryool Kim |
| skinex / SKH Highix | SK hynix |
| Rexcale | rack-scale |
| disegregated / disagregated | disaggregated |
| prepare / prefare | prefill |
| keeper cache / cuber cache / key cache | KV cache |
| GPU HPM | GPU HBM |
| realm serving / random serving | LLM serving |
| moonake | Mooncake |
| nxl | NIXL(待確認 / to verify) |
| niagara | Niagara |
| five more system PC | five more system PoCs |
| multimord serving | multimodal serving |
| relate the GPU HPM | release the GPU HBM |
待確認 / To Verify
- 逐字稿的 "nxl and nm cache is in server DM based cable cash stoing" 判讀為「NIXL 與 in-server DRAM based KV cache storing」,但 "nm cache" 也可能是另一個專案名,需看投影片。/ The comparison baselines heard as "nxl and nm cache" — read as NIXL and in-server DRAM-based KV cache storage, but "nm cache" could be another project name.
- 講者自述「I also working for the SRC as a cell」——SRC 疑為 Semiconductor Research Corporation,職稱不明。/ He said he also works for "the SRC" in an unclear role; possibly Semiconductor Research Corporation.
- 最後提到的國家級系統:逐字稿為 "for the HPC US-based national system",究竟是美國或韓國的國家級系統待確認。/ The national-scale system mentioned at the end — whether US or Korean is unclear from the transcript.
- 對比 Mooncake 的效能提升幅度未在逐字稿中出現具體數字。/ No concrete numbers for the improvement over Mooncake appear in the transcript.
- Niagara 是 CXL 裝置,但演講逐字稿中未出現 "CXL" 一詞;此資訊來自外部查證。/ Niagara is a CXL device, but "CXL" never appears in the transcript; that detail comes from external verification.