同一個環境貫穿整個生命週期:Nemotron 金融領域的 Agentic 後訓練

TL;DR

• 要開源的是整條流水線,不是模型權重:資料、SDG recipe、訓練 recipe、環境、orchestration 全部公開,讓別人能自己再生成資料、再訓一次。
• 金融任務難在「多輪 + 工具 + 長文件 + 數學 + 引用」全都要:一題「算 US Steel 2024 年的存貨周轉率」就要求模型知道公式、知道去 SEC 抓哪一份表單、看懂結構化與非結構化混雜的長文件、做財務計算,最後還要指出答案根據文件的哪一段。現況是最佳閉源模型約 64%、開源約 60%,更難的新 benchmark 上最佳僅 58%。
• 關鍵設計是「單一共用環境」:SDG、SFT、RL 共用同一組工具與同一種格式,不必再操心一致性。成果是 Qwen 系列微調後約 +11%、Nemotron 約 +7%,且在不損失準確度的前提下少用 25% token。

重點整理

目標:開源的是「orchestra」而不是 checkpoint(約 02:23–02:25)

講者所屬團隊在 NVIDIA 做的是金融領域推理模型的後訓練,底座是 Nemotron。她開場就把目標講清楚:目標是釋出一個做金融推理的開源模型,但「不只是分享一個 checkpoint 讓大家載下來跑」——要分享的是整條 pipeline:資料公開、生成資料用的 recipe 與 pipeline 公開、模型公開、環境公開。用她的話說,是把整個過程的「orchestra」都交出來,讓別人可以用他們的 recipe 自己生資料。

為什麼金融特別難:一題存貨周轉率的拆解(約 02:25–02:27)

金融問題要答對,模型得走完一整條 multi-turn reasoning:呼叫多個工具、做網頁搜尋、抓取不同的 SEC filing;而這些檔案又長又複雜,結構化與非結構化資料混在一起。模型不只要讀懂,還要在這些文件上做財務數學,最後引用文件中哪一段支撐了答案。

她用的例子是:「計算 US Steel 2024 年的存貨周轉率(inventory turnover)」。模型必須:

1. 知道 turnover 的計算公式;
2. 判斷需要哪一種 filing、哪一份表單,以及該從哪個工具(web、SEC)取得;
3. 呼叫後對文件做抽取與理解;
4. 套公式算出結果;
5. 引用——指出是文件的哪一部分支持這個答案,才能確認答案有據可查。

現況數字說明差距有多大:在一個近期發布的知名金融 benchmark 上,最佳閉源模型約 64%,開源模型只有約 60%;而在更近期發布、更複雜的金融 benchmark 上,目前最佳表現只有 58%。

四項貢獻與成效(約 02:27–02:29)

她把團隊貢獻歸成四根柱子:

1. 兩條 SDG(合成資料生成)pipeline:document-based SDG 與 template-based SDG。
2. 公開資料:超過 100 萬筆資料,現在就可以取用。
3. 用自家資料訓練模型:走 SFT recipe 與 RL recipe,模型表現有明顯提升。
4. Pipeline 原生支援帶 tool calling 的 RL 微調,而且全部在同一條 pipeline 裡。

此外她提到已有兩家金融機構客戶在用。金融資料的安全性是硬需求,而這條 pipeline可以完全離線執行、不需連網,已達 enterprise-ready。

成效數字:用他們的資料與 pipeline 微調後,Qwen 系列模型約提升 11%,Nemotron 約提升 7%;而且在不損失準確度的前提下,token 用量減少 25%——她的註解是 "less token, less cost, better life"。

核心設計:單一共用環境(約 02:28–02:29)

整條流程由 NVFlow 統一編排:合成資料生成、模型微調、評估、RL 訓練都在同一條 pipeline 上完成。

而她特別點名團隊做的一個重要決定:shared single environment。意思是 SDG、SFT、RL 三個階段全部使用同一組工具、同一種格式,因此不必再擔心各階段之間的一致性問題。這正是講題「One Environment, Whole Lifecycle」的意思。

收尾是邀請合作:程式碼與資料全部公開,歡迎聯繫。

金句

"It's not just sharing a checkpoint so everyone can load it and run the model — but we want to share the whole pipeline."(約 02:24)

開源的單位從「模型」提升到「流程」。

"All the synthetic data generation, SFT tuning, RL tuning — all of them use the same tools, same format. So no need to be worried about being consistent."(約 02:29)

一致性不是靠紀律維持,而是靠架構保證。