座談:資本市場中的 Agentic AI

TL;DR

• 金融與軟體業最大的差別是「犯錯成本」:軟體公司出錯有 unit test 兜著,金融出錯直接虧錢、甚至波及社會。因此量化圈雖然歷來是新技術的早期採用者,面對 agentic 系統卻必須格外謹慎。
• 信任不只要「取得」,還要「重新取得」:模型會換、資料會變、市場會 shift——六個月前你信得過的東西,現在未必還信得過(Ali Nazari)。
• 瓶頸不會消失,只會位移:frontier model 一次給你 30 個看起來都很棒的研究點子,難題就從「想不出點子」變成「判斷哪個點子值得你花時間」。
• Scaling law 在金融可能不適用:Li Deng 說他們花了好幾年嘗試 scaling,從未看到 emergent capability;金融真正的關鍵是整個系統的設計,特別是輸出端的評估與回饋迴圈,因為市場會對你的下單產生反應、環境本身會被你改變。
• Compute 需求的下一波爆炸:Two Sigma 有 1,800 名員工,但若每個人背後跑著總計 25 萬個 agent、各自產生 compute 需求,ROI 就必須被認真計算——「找 alpha 本來就要挖很多口乾井,但你得問自己失敗得夠不夠快」。
• 人才標準已經翻轉:Two Sigma 取消了 coding test(「不然是在測 LLM 不是測人」);Vatic 從「沒 PhD 的履歷看都不看」變成一半以上的人沒有 PhD,實習生用大四生,agentic 工作做得比正職還快。

重點整理

開場:各自的 wow moment 與失望時刻(約 03:51–03:58)

主持人 Bradley Olson 請每位講者自我介紹時,順便講一個最近的「wow moment」或「AI 表現不如預期」的時刻。

• Jeff Wecker(Two Sigma 工程負責人;此前為 Goldman Sachs 合夥人暨首任 Chief Data Officer,更早在 Bridgewater Associates 重建其投資引擎):幾年前拿 LLM 問育兒建議,「糟糕透頂」;最近再試一次結果相當驚艷。「我不知道是 LLM 變好了,還是我變差了。」
• Jen Allum(D. E. Shaw AI 團隊共同負責人):最近讓她驚喜的用法不是什麼革命性的東西,而是把 AI 當 executive coach。D. E. Shaw 以「精準溝通」著稱,這正是她想精進的領域;只要給對 context,AI 能給出即時、可執行、質化與量化兼具的回饋。
• Ali Nazari(Susquehanna 深度學習研究負責人;此前創辦過一家深度學習對沖基金,更早是資訊理論學者)講的是失望:一個月前他把一個研究問題丟給 frontier model,對方回了大約 30 個看起來都很有道理的解法,每一個若他自己想都要花上數月甚至數季。然後他意識到——最難的部分並沒有消失,只是位移了:他現在花的時間不是「生成想法」,而是「判斷這 30 個裡哪一個值得他的時間」。
• Li Deng(在 Microsoft 約 18 年,後加入 Citadel,現於 Vatic Investments)給了三個 wow moment: 1. 2010 年,受 Geoffrey Hinton 啟發首次認真看神經網路,頭兩三個實驗就把錯誤率砍掉三分之一到二分之一,他當場決定丟掉所有其他工具(在那之前他把所有機器學習工具都改寫成 Bayesian network),2010 年就已經在做 13–14 層的深度網路——當時 Microsoft 大多數人都不相信。 2. ChatGPT 出現時,他第一反應是「一定有哪裡出錯了」——這正是當年別人對他語音辨識成果的反應(「你八成把訓練和測試資料混了」)。但 ChatGPT 是真的產品、真的在被使用,不可能造假。他得請一位曾經向他匯報、當時在 Google 帶推理團隊的舊部屬向他解釋:有一類 decoding 技術跟傳統機器學習完全不同。 3. Agentic AI:不只是 pattern matching,而是真的能推理、能把東西組合起來、能做知識管理。

金融業的採用曲線:差別在「犯錯成本」(約 03:58–04:03)

Jeff Wecker 先描述 Two Sigma 的形狀:「我們基本上是一家做投資的科技公司」——1,800 名員工中將近 1,000 人在工程、另外四五百人在建模,其餘才是所有其他職能。工程師拿到新工具的反應很直接:Claude 2025 年 2 月問世,他們幾週內就開始用、一個月到六週內就全面推開。真正讓他興奮的是讓全公司每個人都把自己視為 AI first——而且從各種指標(code branch 數、產出的文件、發表的東西)看得很清楚:越早、越快採用的人,生產力提升幅度明顯越大。現在連沒有技術背景的人都開始用 auto mode 的 Claude 或公司內部的 workbench,「創新速度是近年來最高的」。

Ali Nazari 補上關鍵的差異點:採用是真的,SIG 的工程師與研究員全都在用 AI 工具,但金融和軟體公司最大的不同是犯錯成本。軟體公司裡 AI 出錯,有 unit test 接住,修一修就過去了;金融業出錯要付出金錢代價,某些情況下甚至會波及整個社會。量化金融歷來是統計學習、機器學習的早期採用者,但面對 agentic 系統必須更小心。他提出的框架是:

有些事我一定用 AI,有些事我還是希望有人在迴圈裡。而且信任不只要取得,還要一再重新取得——模型會換、資料會變、市場會 shift,六個月前你信得過的東西,現在未必還信得過。

Jen Allum 回答「如何鼓勵團隊實驗、又如何決定什麼值得規模化」:她認為外界低估了一件事——這類公司本質上就是創新事業,持續創新是生存必需,所以實驗的 DNA 和歷史本來就在。D. E. Shaw 作為最早的量化基金之一,又是多策略的聯邦式組織,可以在全公司同時放很多實驗、由下而上地找到價值所在。她的原則是:看的是學習速率與發現速率,政策上採「maximalist」——自建、外購、以及兩者之間的一切都做,先讓大量實驗跑,看什麼燒起來,再回頭想要為誰、以什麼方式規模化。

雜訊、評估,與 agentic 的自我改進迴圈(約 04:04–04:07)

Li Deng 把量化與科技業的工作流做了對照:量化這邊是抽取特徵(即 alpha)→ 用模型做預測 → 實驗與評估(叫 back-testing,對應科技業的 validation)→ 上線(paper trading / online trading,對應 testing)。關鍵差異在於訊號極度雜訊——輸入訊號雜訊,輸出訊號更雜訊。

他當年從 Microsoft 轉戰華爾街,部分原因就是想搞清楚這件事:他原以為這會是個無監督問題(訊號雜到不如放棄),結果發現是混合的——純無監督哪裡都去不了,是有一點監督訊號,只是雜訊極大。第一次看金融資料(把報酬 residualize 之後)他以為自己拿到了錯的資料,「看起來幾乎全是隨機噪音或隨機漫步」,但訊號確實在裡面,只是要從中萃取極微小的一點。

他點名當天稍早 Google DeepMind 的 Oriol Vinyals 講的遞迴式自我改進 pipeline:「那些 pipeline 我們全都走過了」,但他們把遠多得多的力氣放在評估端——因為當評估的輸出本身極度雜訊時,你連「該預測什麼訊號」都不知道,更不知道要怎麼提供正確的回饋去改進特徵。

關於 scaling,他講得很直白:過去幾年的工作重點不在把模型做大、期待像大語言模型那樣冒出 emergent capability。「我們試了不少,但不知道還要走多遠;因為輸入輸出本質上就雜訊,我們其實已經放棄那條路了。」真正的焦點是:如何讓整個系統形成正確的自我迴圈——而 agentic 方法正是把 alpha 工程師的人力投入降到最低的關鍵。

Compute 成本:下一波爆炸就在眼前(約 04:07–04:09)

Jeff Wecker 從公司的建模史講起:26 年前創立時多是低維度統計模型,接著是中低階機器學習模型,再到 ensembles,然後開始自己訓練 transformer。直到 GPT-3.5 出現,才終於能用公開可得的模型——因為 frontier 公司在訓練上給了大家如此巨大的起跑優勢,大幅降低了成本。

而現在 agent 中心的工作流帶來的是另一件事:

我們今天有 1,800 名員工。但如果這 1,800 人背後有 25 萬個 agent 在跑作業、每一個都產生自己的 compute 需求,我們就真的必須認真想這件事的投資報酬。

他坦承「找 alpha 本來就要挖很多口乾井,這毫無疑問」,但關鍵是要檢視 alpha 投資的成熟度模型,並問自己:你失敗得夠快嗎?——夠快才能擋住 compute 那邊龐大的投資需求。

AI 時代的人才與招聘(約 04:09–04:14)

Jen Allum:D. E. Shaw 一向以尋找特定類型的人著稱——好奇心、終身學習者、批判性思考者、系統性思考者;這些特質現在更重要。而因為公司裡數十年的長職涯很常見,她真正在找的是適應力:這個人未來會在同一家公司裡經歷好幾段不同的職涯。所以她在建團隊時,是把這些特質的權重拉高到與職能專業並列,並且往前多想一步——這個人的下一個角色、再下一個角色會是什麼。

Ali Nazari:有些標準不變(聰明、好奇、會問對問題、能獨立工作),而且比以前更重要。變的是面試流程——過去的考法是為「實作是最難的部分」那個時代設計的。現在 AI 包辦了大量實作,他們要驗證的變成:這個人能不能適應、能不能正確使用工具、以及能不能察覺 AI 系統「非常有自信地說錯話」。他丟出一個開放問題:

判斷力向來是這樣長出來的:你試、你犯錯、你從錯誤中學。但如果現在大部分實驗都是 AI 在做,下一代的判斷力要從哪裡長出來?

Li Deng 給了非常具體的數字變化:兩年前團隊成員大多是 Ivy League 的數學、物理、部分資工博士;以前收到沒有博士學位的履歷,「看都不看,直接說抱歉我們不收非博士」。現在超過一半的人沒有博士學位,實習生他們偏好收大四生——這些人做 agentic 的工作往往比正職還快。「整個人才輪廓在短短兩年內變了很多。」

Jeff Wecker 補了一句給現場聽眾:「我先澄清一下,我們有在招人。」但要的東西很不一樣:

我們當然已經取消 coding test 了——不然我們是在測 LLM,不是在測人。

他認為科學家 / 電腦科學家 / 工程師這類角色反而會更重要,關鍵能力是:把問題清楚地拆解成元件、能不能 prompt 出真正想要的結果、以及能不能設計出會運用判斷力的 agent,去加速特徵生成、模型生成、下單策略或投組建構模型的產出。他要的是有認知深度、願意好奇地把公司業務學進去,再把各自科學背景的技能拿來重構未來可能性的人。

如果從零開始設計一家量化公司(約 04:14–04:17)

Ali Nazari 的答案結構清楚:量化交易分兩塊——研究(創造知識)與交易(使用知識),而他會把重心越來越放在研究側,並做三件事:

1. 讓每一次實驗——失敗的和成功的——都變成組織的知識。特別是失敗:太多人把失敗放在自己腦袋裡,人一走知識就跟著走。
2. 把評估變成研究迴圈的一部分,而不是最後才補上的東西。
3. 人類研究員與 AI 研究員走同一套研究流程、用同一套標準評估,不管產出是 AI 生成還是人生成,從兩邊學到的知識都回流到組織的知識庫。

我看研究不是一堆任務的集合,而是一個持續學習的過程。我認為這是最大的區別。

Jen Allum 從合作方的角度補充:D. E. Shaw 自建不少,但也廣泛地與外部公司合作,並希望自己是個好的合作夥伴——尤其在受監管的領域裡交付產品,enterprise readiness、資安、以及對自家 IP 的保護都是硬需求。她認為(呼應 Ali 說的組織既有 know-how)市場上還有很大空間,值得更銳利地想清楚:新產品對這類公司的價值主張到底是什麼、要怎麼才是「加值」而不是重複造輪子。

Wildcard:一個大家普遍相信、但其實錯了的 AI 信念(約 04:17–04:21)

Jeff Wecker:錯的是「你會需要更少的人」這個想法。的確有些角色與工作未來不會存在,但在一個「系統性決策支援」會成為未來的世界裡,說你不需要技術人、科學家、數學家,這會被證明是錯的。他預期的結果反而是大量新角色被創造出來去承接勞動力的變化。

「未來人們不會有機會」這個被鼓吹的想法根本說不通。人類歷史上任何一項重大發明都不曾如此。世界會變、市場會長大,而能夠產生影響力的人只會越來越多。

Li Deng:他挑的是 scaling。當天稍早機器人與基礎模型的講者都在談第一波、第二波、甚至第三波 scaling;他認為在機器人領域也許成立,但在金融領域他不相信——他們花了好幾年嘗試 scaling,從來沒有到達 emergent capability 出現的那個點。他認為金融真正最重要的是用系統性的方式看待整個系統,尤其是機器學習各元件之間的整合、特別是輸出端的評估與回饋,因為金融市場的回饋和科技業是完全不同性質的問題,而這一塊的設計在 agentic 時代的權重只會更重。

他用一段親身經歷收尾:七年前他從 Microsoft 轉到 Citadel 時,他那位億萬富翁老闆親自告訴他——我們雇用你,不是期待你把語音辨識那套系統建構的專業搬過來。因為在科技業,你建一套翻譯系統、辨識系統,它今天能用、大概還能用一陣子,你每隔幾年才需要適應一次(比如換了總統、語言用法改變,語言模型才要跟著改;或者要等到編碼標準變了,原本訓練的系統才會壞掉)。

但你把那種思路帶進金融市場就會失敗。因為在金融市場裡,你每下一次單,別人的反應就不一樣,你自己就改變了環境——這種程度遠遠超過科技業。

結論:科技業那套關於 scaling 的傳統思維,以及今天在這裡聽到的很多東西,大部分可能都不適用於他們。

金句

"The hardest part didn't disappear. It just moved."(約 03:54)

Ali Nazari 談 frontier model 一口氣給他 30 個研究點子之後的體悟:瓶頸從「產生想法」搬到了「判斷哪個想法值得你的時間」。

"Trust is something that needs to be gained … and trust needs to be regained. Model change, data change, market change, market shift … something that you were trusting six months ago might not be trustable right now."(約 04:02)

金融業對 agentic 系統的核心態度:信任不是一次性的認證,是持續衰減、需要反覆重建的東西。

"We have 1,800 employees today, but if behind those 1,800 employees there are a quarter of a million agents doing operations, all making their own compute demand, we really have to think about the implications, return on investment of that."(約 04:08)

Jeff Wecker 對 agentic 工作流帶來的 compute 需求爆炸提出的預警。

"We've eliminated coding tests, of course — because we'd be testing LLMs and not people."(約 04:13)

一句話講完 AI 對技術招聘流程的衝擊。

"I look at research as not a collection of tasks, [but] a process of continuous learning."(約 04:16)

Ali Nazari 對「從零設計一家量化公司」的核心答案。

"In financial markets, every time you put an order into the market, people react differently — it changes the environment, much more so than the high-tech world."(約 04:21)

Li Deng 說明為什麼科技業的 scaling 思維難以移植到金融:你的行動本身就在改變你要預測的那個環境。