企業 AI:為什麼 eval 是部署的瓶頸

TL;DR

• 「擁有自己的智慧」有兩條路:訓練自己的模型(如 Cursor 的 Composer,再用 Cursor 自家資料與基礎設施微調),或用前沿模型 + 為自家產品打造極好的 harness。兩條路的共同前提都是一套非常好的 eval。
• 失敗的迴圈長這樣:沒有系統性方法找出 agent 機會 → 猜一個起點 → 臆測 agent 該有的行為 → 部署 → 在 sandbox 大致試一下、假設它可以動 → 靠零星或軼事式的失敗來改。這正是多數企業 AI 用例進不了 production 的原因。
• agentic eval 的五個組成(從 Mercor 的前沿 benchmark APEX 移植到企業情境):task(agent 到底在做什麼)、trajectory(它的推理與呼叫過程)、artifact(它產出的東西)、world / context(它穿行的環境)、rubric / verifier(評分標準)。
• 人的判斷在打分那一步不可取代——這是 Mercor 商業模式的核心信念之一。
• eval 的四層價值:(1) 系統性、量化地找出公司裡最該部署 agent 的前五個領域;(2) 真的把 agent 部署下去並教會它「什麼叫做好」;(3) 持續學習的地基——失敗可以往上 triage 到 skills file 保證不再犯,也可以拿來 post-train 防止回歸;(4) 資料變現——task / trajectory / context / artifact / rubric 這整套骨架,對前沿實驗室的訓練來說是極有價值的資料。

重點整理

Mercor 的起點與 2026 的轉向(約 00:42–00:44)

他 19 歲、Harvard 二年級時創辦 Mercor,從 Harvard 輟學;共同創辦人是高中辯論隊隊友(其中一位是他當年的辯論搭檔)。

公司最早是把資料賣給 AI 實驗室。驅動這件事的核心洞察是:模型已經進步到「標註一張圖裡有沒有停止標誌」不再是重點,問題變成「能不能讓模型更會做工程、更會做醫療任務、更會做法律」——這需要非常高階的人類專業知識,以及把資料結構化成適合 agentic 典範(RL 環境與 gym)的能力。

但 2026 年 Mercor 的主戰場是企業,這點很多人不知道。他的分層是:最底層是實驗室;上面是 neolabs;再上面是應用層公司與新創(他點名 Harvey 與 Cursor);最上面是一般企業。這四層全都想擁有自己的智慧、把它應用到整家公司、訓練自己的模型——而他們需要的東西根本是同一套:訓練與 eval。

擁有自己的智慧:兩條路,一個共同前提(約 00:44–00:45)

1. 訓練自己的模型。他舉 Cursor 為例:Cursor 訓練了自家的 Composer 模型(現在是相當好的 coding model),並能用 Cursor 的資料與基礎設施持續微調。
2. 採用前沿模型,然後為產品或用例打造非常好的 harness。很多公司走這條。

兩條路的共同線索是:你需要一套非常好的 eval。 這就是 Mercor 切入的位置,而且直接建立在他們替實驗室做的工作與前沿 benchmark APEX 之上。

為什麼企業 AI 進不了 production(約 00:45–00:46)

不論是訓練外部 agent 用的模型,還是在公司內部部署 agent,最大的問題是沒有辦法衡量 ground truth 或成功。於是形成他稱為「猜謎迴圈」的東西:

沒有系統性方法辨識產品裡的 agent 機會 → 隨便猜一個起點 → 臆測 agent 的行為 → 部署 → 在 sandbox 之類的地方試一下、假設它大概能動 → 根據零星觀察到的、軼事性的失敗來改進。

「這個迴圈真的非常糟」,所以他們主張eval-driven 的企業 AI 部署。

什麼是 agentic eval:五個組成(約 00:46–00:48)

eval 是個被過度使用的詞,所以他直接從 APEX 的定義往企業情境延伸。跟實驗室合作時,新的前沿模型出來,他們會在許多領域的許多任務上跑 benchmark;agentic 用例裡模型往往要跑上百個 turn,而他們分析整條 trajectory 來找出模型在哪裡失敗、為什麼失敗。

同一套結構可以搬到企業:

實例(投資銀行任務):banker 對模型說「更新這份併購模型,顯示這筆交易如何影響雙方公司」。人工做的話,你會進 Excel、打開某份 merger model、進 data room、拿回饋、發現弄錯再查、最後產出模型。要讓 agent 做這件事,你需要對上述每一步都有可觀測性:

• task = 更新 merger model
• trajectory = agent 呼叫的所有工具(找到 merger model、更新交易條款、建表⋯)
• artifact = 帶正確引註的試算表版 merger model
• verifier = 主觀標準(輸出是什麼、是否符合風格指引)+ 客觀標準(這東西到底對不對)

在打分這一步,人類智慧非常重要——這是他們公司的核心信念。

eval 帶給企業的四件事(約 00:48–00:50)

1. 診斷機會:eval 是成功部署 agent 的瓶頸,但同時也是找出機會的工具。如果你替每個部門都建了 eval、把任務與 ground truth 的 rubric 對映清楚,「要在公司哪五個地方部署 agent」就會變成一個系統性、可量化的答案,而不是猜。
2. 實際部署:把「什麼叫做好」教給 agent,自動化流程。
3. 持續學習的地基:agent 在某個 eval 上失敗時,可以把失敗原因往上 triage 到 skills file,確保它不再發生;更進一步,可以拿這些失敗去 post-train 模型,確保不會回歸。
4. 資料變現(他們正與多家領先企業推進的方向):前沿實驗室非常想讓模型在真實企業情境下表現良好,而task + trajectory + context + artifact + rubric 這整套骨架,就是模型訓練層級極有價值的資料。

(他在後續 panel 補充了這件事的商業面:這類「commodity workflow」資料經過匿名化與身分清洗、放進 RL 環境後,對一般企業通常是零成本方案,而 Mercor 能替他們創造七到八位數的變現。)

金句

"Most of these enterprise AI use cases never reach production … just because there's no way to actually measure ground truth or success."(約 00:45)

整場演講的論點起點。

"What you need is a task … the trajectory … the actual artifact … the actual world … and then the last thing is a rubric or a verifier."(約 00:47)

agentic eval 的五件套,也是他後來在 panel 上再講一次的定義。

"If you build an eval for every single one of your departments and a proper mapping of these tasks and what ground truth looks like in the rubric, it's very very logical that you could come up with like the top five areas in your company where you should deploy agents."(約 00:49)

eval 不只是驗收工具,更是機會探勘工具——這是他最反直覺的一點。