AIDaR:AI 資料就緒度評估框架

TL;DR

• 單一論點:在評估 agent 的同時,必須一併評估底層資料層的就緒度。這是他整場只想講的一件事。
• Genentech 的真實踩坑過程:被要求建 agentic 系統 → 選資料集 → 工程師做兩個月 → 一跑 eval 表現很差 → 翻遍各種最佳實踐部落格、調 prompt、期待更好的模型,全都沒用。最後才發現問題在資料層——那層資料是為 data warehousing、報表與 dashboard 設計的,不是為 agent 設計的。
• 五個維度的評估框架(他強調仍在演進中):data quality、semantics & metadata、access & governance、structural readiness、generalizability。其中 structural readiness 的具體反例是 entity-attribute-value(EAV)資料模型——對在其上跑 agent 非常不友善。

重點整理

問題:我們調錯了東西(約 02:50–02:52)

Arindam Sett 是 Genentech 的 principal machine learning engineer,專注在 agentic AI、生命科學領域的 scientific AI、AI 資料就緒度,以及 agent 評估。

他說整場只有一個論點:當我們在評估 agent 的時候,也必須評估底層資料層的就緒度。

接著他講了一個很多人會有共鳴的過程。在 Genentech,他們被要求建立一套 agentic 系統:選定一些資料集 → ML/AI 工程師投入 → 花了幾個月把框架組起來 → 然後跑評估,表現很差。

於是開始找原因:翻遍 LangChain 的部落格、各種框架的部落格,該套用的最佳實踐都套用了,還是不行;接著去調 prompt engineering,再接著期待更好的模型出現。

最後他們才意識到:agent 不是在真空中運作的。它跑在一層資料之上,而那層資料本身也是需要被檢視的東西。

他給的具體例子:有一個資料層,它的取向是 dashboard 與報表。他們在上面架了 agent,表現就是不好——回頭看才發現,那層資料當初是為 data warehousing、報表與 dashboard 而設計的,不是為 agent。

AIDaR:五個維度(約 02:52–02:53)

由此他們發展出這套 AI 資料就緒度評估框架(他強調目前仍在演進),包含五個維度:

社群與 workshop(約 02:53–02:54)

他們最近有一個 NeurIPS workshop 在 Paris 獲得接受(他在台上順道恭喜了 Scale AI 也拿到 workshop——即前面 Chenguang Wang 提到的 Agents in the Wild)。

workshop 的目的是把兩群人聚在一起:正在為 agentic AI 打造資料基礎設施的人,以及正在為 agentic AI 建立評估與 benchmark 的人。

他也強調這是一項真正的協作成果——Genentech 內部、加上外部的學界、業界與社群共同促成。

金句

"The agents are not performing in a vacuum. They are working on top of a data layer, and the underlying data layer is something we need to also look at."(約 02:51)

整場唯一的論點,也是他最想留下的一句。

"We went to all the LangChain blogs … hopefully we actually applied the best practices, but it wasn't performing. Then we looked into prompt engineering, we looked for hope for the better models."(約 02:51)

evals 表現差時的標準除錯順序——而他的重點是:這個順序漏掉了最下面那一層。