爐邊對談:Ali Ghodsi × Andy Konwinski

對談雙方

主持人 Aaron Jacobson(NEA)介紹時提到,NEA 早在 2014 年 Series B 就投了 Databricks。兩人都出身 Berkeley 的 Mesos / Spark 研究線:Ali 是 Apache Spark 的創建者之一,研究資源管理、排程與資料快取(成果應用於 Apache Mesos 與 Apache Hadoop);Andy 在 Berkeley 拿到 CS 博士,參與 Apache Hadoop、共同創建 Apache Mesos 與 Apache Spark,現在在 Berkeley 共同開設「從研究到新創」的博士生 seminar。

主題一:2009 年的 Berkeley,以及那位睡著的市長(約 01:38–01:42)

• Andy 的記憶:2009 年 Ion Stoica 或 Scott Shenker 發了一封信給 Mesos 小組說「有位訪問學者要加入」。他和 Matei Zaharia、Ben Hindman 當時「非常沒安全感」,滿腦子想的是「這位大神是誰?第一作者還輪不輪得到我?」——然後 Ali 走進來,身材壯碩,Andy 心想「希望我們不用靠掰手腕決定第一作者」。後來 Ali 做出了 DRF(Dominant Resource Fairness) 那篇論文,並且從研究夥伴變成他的導師、實質上的共同指導教授。
• Ali 的記憶:2009–2012 年的 Berkeley「站在所有新演算法的最前線,因為新的電腦就是資料中心」。當時對 AI 與機器學習、對資料中心這些題目其實充滿懷疑。他說那是他最好、也最具形塑性的幾年。
• 他最喜歡的故事:Databricks 剛創立時有個大辯論——公司要設在 Berkeley 還是 San Francisco?創辦人剛好一半一半。他們先去見了校長,校長說「你們該去跟市長談談」,於是把 Berkeley 市長請進他們那間「不怎麼樣」的辦公室(「因為 Berkeley 沒有好的辦公空間」)。市長帶了一大群人來,一群研究生對著一群政治人物簡報進階排程演算法,市長全程打瞌睡,最後醒過來握著手說了一句:

「我希望有一天,每個家庭裡都有一塊 data brick。」

兩人笑說這件事至今還沒發生——「不過也許 NVIDIA 最新的機櫃算是往那個方向走了一步」。

主題二:Berkeley 到底特別在哪裡?(約 01:42–01:44)

Ali:他來 Berkeley 之前做過多份博後,大致住過九個國家、走訪九所大學。他認為 Berkeley 這座城市和這所大學都特別,而特別之處是一種態度:「你可以改變任何事、質疑任何事。」

這對他一開始是文化衝擊:研究組在做的題目讓他覺得「這不算研究吧,我們不該做這個」,對方卻說「不,我們就是要做,這很酷,而且會有影響力」。他當時想「這說不通啊,這根本是在作弊吧」——但答案永遠是「我們什麼都能做,我們來這裡就是要改變世界」。

他也承認這種精神有時會走向極端,但那正是光圈開得夠大的代價:有超高影響力的研究,也有像「delay-tolerant networks」那種——因為「網際網路顯然是壞的,如果我們要做星際通訊,就得為星際通訊重新設計一套新的網際網路,畢竟我們終究要殖民整個宇宙」——當年網路組真的有這個研究題目。

Andy 的補充故事:早期他們是作業系統與分散式系統研究組,深受 BSD 啟發。後來成為 Mesos 的專案在命名時反覆掙扎,他提出的候選是 BCD(Berkeley Cloud Distribution / Berkeley Cluster Distribution),直接致敬 BSD。Matei 和 Ben 都反對:「我們憑什麼狂妄到把自己命名成跟 BSD 只差一個編輯距離?」Andy 的回答是:「因為我們就是要做出更有影響力的那個作業系統啊。」他這一票沒贏。(順帶一提,當時官方命名體系是 BDAS,而且規定要唸成 "badass"。)

Ali 的結論:那就是 Berkeley 精神——質疑既定規範。

主題三:Databricks 為什麼一直做開源?MLflow 與 Omnigent(約 01:44–01:48)

Ali 的策略觀:開源標準與開源介面之所以重要,是因為它創造社群,而社群會變得非常強大。他講得很直白:

「如果沒有 Spark 生態系,Databricks 這家公司根本不會存在——因為那個生態系遠比我們任何人單獨能做出來的都要大。」

所以開源既對社群和世界好,也是門好生意,Databricks 已經證明過。

• MLflow:很多人不知道它至今每個月仍有 4,000 萬次下載。它誕生於機器學習時代(約十年前),當時大家迷戀「最好的模型」,但 ML 工程師很難迭代不同模型——他們需要某種類似 git 版本控制的方式來追蹤所有實驗。那就是 MLflow。
• Omnigent(今年夏天剛推出):問題意識是現在的 harness 太多了。Ali 給了一個很有意思的對照:

大型語言模型不黏著,harness 卻很黏著。 因為 Databricks 同時服務專有模型與開源模型,他們手上有全部的資料,看到的現象是「只要有新的專有模型或開源模型出來,人們在幾天之內就搬過去了」。而在軟體業,任何其他東西都是黏的——你會一直用下去,即使流失也是緩慢衰減,不會瞬間全員倒戈。LLM 是例外。 但 harness 是建在 LLM 之上的,而它們像舊軟體一樣把你鎖住:你習慣了它的介面、記憶機制、快捷鍵。

所以 Omnigent 的構想是一個 meta harness——harness 的 harness,讓你能自由切換:能接 Claude Code、能接 Codex、能接任何一個(OpenCode、Pi⋯),藉此取得多工復用與社群效應。

成績:推出後頭幾週就有 1,000 個 GitHub fork,數週內數百人貢獻。

• Ali 對開源的長線判斷:開源在接下來幾年會因為 vibe coding / AI 而大爆發。過去要有一個 Linus Torvalds 花巨大心力寫出一整套作業系統去跟 Windows 競爭,而且總得有人付他薪水,所以最後他被公司雇用。但今天寫軟體的成本正在下降,所以會出現多得多的開源專案,並且成為標準。

主題四:規格 > 實作,以及「PR 裡放的是 prompt」(約 01:47–01:49)

Andy 的預測:他覺得我們會走到某種新版本的 GitHub——pull request 裡裝的不是程式碼,而是 prompt,而 reviewer 的工作是去跑那些 prompt。他認為 OpenClaw 之類的東西(可能還有 Spark)已經在往那個方向移動,committer 的工作變成判斷「這段程式碼有多少是人寫的、人在這個 PR 上花了多少小時」。

Ali 的回應:他確實認為方向是——只要你能指定程式該做什麼,並且有測試地基與 harness,實作本身就不重要了;AI 可以找出最快、最好的實作,而且可能重寫很多很多次。但這要求你有一種極為滴水不漏的方式來指定程式碼。

主題五:Databricks 自己做 eval:Office QA(約 01:49–01:52)

Ali 說明他們最近公布的內部工作:他們把公司內部的 coding issue 與任務大量爬下來,建了一個超過一千題的大型資料集。來源是——約 4,000 名工程師每天在寫程式,而全公司約 11,000 人會提出各種問題(例如資料科學問題、想知道業務狀況、在第一線工作時遇到的問題)。

Andy 的解讀:那基本上是一份宣告式的規格——你用這些問答把需求宣告出來了。人們問問題,你有 Databricks 的答案,現在你就有了一份「我們希望 agent 能回答這些」的規格,也就是一份專屬於 Databricks 的評估 / benchmark。

Ali 為什麼要做:一方面是污染(contamination)問題——每天都有東西發布,所以他們想要一個屬於自己的 ground truth,用來回答「我們該用哪個模型?能不能直接用 GLM 5.2?它會一樣好嗎?」

另一方面是他對前沿實驗室的觀察:

「前沿實驗室太執著於超級智慧、太執著於朝超級智慧前進,以至於我們每天想做的很多事情根本不在他們的 eval 裡。」

他舉的對照是 HLE(Humanity's Last Exam)——裡面是非常複雜的數學與物理題。但當 Databricks 去測「我們每天要做的很基本的任務」時,前沿模型表現並不好:最難的那批大約只對 20%,平均難度的大約 40%。

他的例句非常樸素:「這是 1940 年代美國的預算,請告訴我國防支出是多少。」模型得掃描 PDF、搞懂怎麼在四個維度上呈現資料。「結果那真的很難」——因為業界的焦點放在物理與數學這類可以拿去做 RL 的東西,而不是這些平凡的企業或商業任務。

於是他們做了一個叫 Office QA 的 eval(名字取自電影《Office Space》,就是那個 TPS report 的梗)。專注解這個問題之後,他們做出的 agent 能做 PDF parsing 之類的事,正確率接近 80%。

Ali 的結論:eval 與 spec 在未來會極其重要。

主題六:K Prize 與 Terminal-Bench 的起源(約 01:52–01:54)

Andy 的線:他們與 Stanford 教授 Ludwig Schmidt 合作——Schmidt 的團隊做過 CLIP 與 DataComp 系列。DataComp 的創新在於把方向顛倒過來:不是固定資料集去改模型,而是固定模型與 agent、去改資料集,並替此做一個排行榜,看改變資料集能把同一個 agent 的結果推到多高。

他和 Schmidt 在 NeurIPS 見面,而那正是他發布 K Prize 的那一屆 NeurIPS。K Prize 的規則:

• 100 萬美元,他當場在台上發推承諾親自開支票。
• 給第一支在「contamination-free 版本的 SWE-bench」上達到 90% 的隊伍。
• 做法:設一個投稿截止日,參賽者必須在那之前交出 agent 程式碼;截止後才去爬接下來四個月的新 GitHub issue(來自 PyTorch、Spark 這類熱門 repo),再拿這些新題目去跑已經封存的 agent。這樣參賽者不可能在測試集上訓練。
• 結果:成功率大約 10%——Andy 說對一個全新 benchmark 來說這算相當好。

Ali 的反應(全場最好的一句對照):

「這不是很瘋狂嗎?所有東西都飽和在 90%,但你只要做一個新的,就變成 10%。」

主題七:benchmark 應該像軟體一樣做,而不是砍掉重練(約 01:54–01:57)

Andy 的核心主張(他說這是他們幾週前才發布的新工作):

現行做法是一個非常沒效率的循環——每做一個新 benchmark,基本上就把上一個丟掉、從零開始。他用自己的經驗當例證:

• 他們做了 Terminal-Bench 1,然後 2,然後 2.1。
• 從 2 到 2.1 的內容,主要就是修好五到十個被社群發現「其實無解」的任務。
• 但大部分 benchmark 連這種小版本更新都不做。
• 結果產生了一種影子文化:「非常熟悉 Terminal-Bench 2 的人都知道,83% 其實就等於 100%」——因為剩下的是無解題。
• 「如果你是 benchmark 的作者,你不會想要這樣。你要 100 分是拿得到的,只是非常難。」

所以他的提案是:benchmark 應該像寫軟體一樣——你不會每次出新版 Spark 就把整個 codebase 丟掉,你是在 codebase 上做修改、修 bug。對應到 benchmark 就是:

1. 刪掉已飽和的舊任務(現在大家都做對了,就不要再留在 benchmark 裡)。
2. 加入十個更難的新任務。
3. 每兩三週就發一版,持續更新——「就像軟體一樣,而且你在修 bug」。

Terminal-Bench 3 之後就會是 3.1、3.2、3.3,節奏很快、每次都是相對小的迭代更新。

Ali 的加碼:他喜歡這個做法的原因是 Goodhart's law——「任何你拿來評估的指標,一旦被用來評估就會被 game,從而失去它原本的目的。」這正是所有東西都停在 90% 的原因,而持續迭代的 benchmark 恰好能對抗這件事。

Andy 再補一層:這樣還能溫和地引導方向。例如 reward hacking 現在是前沿的主要議題之一——「一年前幾乎沒人在談 reward hacking,現在很多人在想圍繞它的新工具,agent 也越來越會識別它。」所以他們想要更多對 reward hacking 有韌性的任務,或明確測試 agent 對 reward hacking 抵抗力的任務;在新架構下,「兩週內想出三個新任務、切一個新版本」是做得到的。

主題八:人類該把腦力花在哪裡?(約 01:57–01:58)

Andy 把前面幾條線收攏成一個判斷,並明說他認同 Ali 稍早的說法:只要你有好的 eval,agent 與 harness 的程式碼會越來越被自動優化。

他描述的典範轉移是:

• 早期(LangChain / LangGraph 那類框架):人類花心力思考「怎麼把我的 agent 架構設計好」。
• 現在:人類把全部腦力花在設計評估上——「你要怎麼精準捕捉你公司裡(或政府裡、或任何你想優化的對象裡)那些困難事情的分布?」然後放出優化器去爬那個 eval:程式碼優化器、prompt 優化器、模型權重優化器,或以上全部。

這兩個趨勢加起來,就是他和 Laude 的 Harbor 開源團隊現在投入最多心力的地方。

主題九:Open Frontier——開放科學還有機會嗎?(約 01:58–02:02)

Ali 提問:Open Frontier 是 Andy 他們投入大量資源在推的開放研究 / 開放科學倡議。面對那些薪資高得離譜、極度保密、不發表結果的封閉前沿實驗室,開放這一側有機會嗎?

Andy 的回答分成三段:

(1) 現況診斷。 他先謝謝 Ali 一個月前來那場會議演講——他們集合了約一百位仍在做開放科學的頂尖 AI 研究者,一起討論「我們所認識的科學的命運」。觀察到的核心事實是:許多頂尖人才正在離開學界,而且是兩件事同時發生——

• 薪資:從 30–40 萬美元,跳到 1,000 萬到 1 億美元等級。
• 資源:從一個獲得 1,000 萬到 5,000 萬美元經費的實驗室,跳到有數十億、數百億美元的實驗室。

他說即使以十年前創立 Databricks 的標準看,這都「絕對是瘋狂的」——現在有人拿到十億美元等級的薪酬包。這兩件事是他真心憂慮科學前景的原因。

(2) 正面回答「能不能正面對決」:不能。 非營利研究靠的是慈善捐贈與美國政府經費(包括他們此刻所在的這所大學),永遠不可能募到跟 Anthropic 或 OpenAI 同一個量級的數千億。

(3) 但他們確實需要多募一到兩個數量級。 而那需要一種新的募資形態,也需要一種學界從來不需要有過的實驗室協作方式——他稱之為「lab of labs」架構:

介於「學術實驗室現在的協作方式(基本上就是讀彼此的論文、在對方想法上疊加)」與「Meta / OpenAI / Anthropic 那種中央統一管理、全體聚焦單一 stack 與單一模型」之間——一個較鬆散但仍然對齊的多實驗室協作體。

他點名的拼圖:

再加上獨立研究者:他說非營利現在正在爆發——不是 Anthropic 那個量級,而是五人、十二人的小團隊,而且是真正的非營利,不是 neolab、不是營利公司。

他形容操作上的挑戰非常實際:「要想辦法把這群貓趕在一起,第一步是先讓所有人的臉出現在同一張投影片上,第二步才是真的把它運作起來——你們多久碰一次面?怎麼對 artifact 達成共識?怎麼把 Marin 產出的模型,或那些正在放出開放權重模型的實驗室(例如 Thinking Machines,或聲稱在做開放模型、最終會釋出的 Reflection)接起來?怎麼在非營利的架構下讓整體大於部分之和?」

動能:他們談這件事談了大約一年,而現在 Satya Nadella 也發推談到需要這類東西,加上 Databricks 正在示範這種開放生態系確實有機會站得住。Ali 回應說他對此非常興奮。

主題十:給 Berkeley 大學生的話——CS 還有希望嗎?(約 02:02–02:07)

Andy 提問:我們都在這裡教過、指導過大學生,也把一些人帶進 Databricks;你現在仍然雇用數百位工程師在做前沿基礎設施。現在來 Berkeley 是不是沒希望了? 他說自己做畢業致詞時,很多學生非常焦慮,家長事後跑來問「我們很困惑,到底該怎麼辦?」

Ali 的回答(這場對談最長也最具說服力的一段):

他先描述那個他認為錯誤的氛圍——「尤其在前沿實驗室,有一種『只剩兩年工作可做,然後所有人都會失業、programming 會消失』的情緒,在 SF 越來越常遇到這種人。」

「我認為這是完全錯的。」

他的論點是社會層面的變革本來就很慢:

• 電力:從 1880 到 1920,電動機取代蒸汽機,才真正在社會上收割到好處;而且直到 1920 才在 GDP 上看到影響。更關鍵的是——這不能推給「那是實體技術所以困難」,因為電動機在 1840、1850 年代就已經存在了。
• PC 革命:同樣花了很長時間。
• 他自己的公司:Databricks 有 AI、正在盤點組織裡的每一件事,「你就會看到這有多難——你有太多在過去累積起來的任務;我們只存在 13 年,外面有些組織已經存在 50 年、100 年,要改變你正在做的每一件事,要花非常非常久」。

所以他判斷:這場 agentic 革命至少會花十年,甚至更久。

而且好點子的產生本身也很慢。他最喜歡的例子:網際網路在 2000 年就已經存在了,但 Airbnb 的 Brian 要到 2009 年才想出那個點子——比網路晚了十年甚至更久。而 Airbnb 不需要任何新的實體基礎設施:網路在了,人們手上有可以出租的房子,什麼都不缺。只是想出好點子、讓它擴散滲透進社會,就是要花很長時間。

「所以我認為,最有意思的事情大多都還沒發生。」

他點名兩個他常提的方向:

1. 醫療:「會出現一家醫療公司,大概值好幾兆美元」——你能得到一位看過數十億病患的醫生,提供個人化的醫療照護。「如果能改善你和你所愛的人的健康,人們願意付出任何代價。」
2. 教育:VC 過去總說教育賺不到錢,但他認為——「在美國,選舉的輸贏就是靠教育;人們非常在乎給孩子的教育。」而這項技術對教育是變革性的,所以會出現創新,可能來自大學、可能來自非營利,也會來自公司。

他的收束:

「這是有史以來最好的時代。我真希望我是現在才 20、25 歲出社會⋯⋯如果你是十年、二十年前出來,一切都比較平順。這種大轉型的時刻,就是活著並參與其中最好的時候。」

而對 CS 本身:「我認為 computer science 還有很長的路要走,而且未來被寫出來的軟體會遠遠多於過去。所以我超級樂觀。」

Andy 的呼應:他說自己「平行地樂觀」。他在 Laude 仍與 Berkeley、Stanford、MIT 等頂尖大學的實驗室合作、與博士生共事。他的觀察是:

去找那些真的把東西 ship 出去的學生——發布一個開源專案、把論文推文出去並得到大量回響的那種。跟他們談,你會發現他們的動機是 impact,和當年他們在 Patterson 的實驗室裡想著 BSD、想著怎麼改變世界時一模一樣。

他說他會直接問這些學生:你為什麼要對那些兩百萬、五百萬、一千萬美元年薪的 offer 說不? 那些位置能做前沿研究、能形塑 Claude 的運作方式,但你不能對外談論它。答案永遠是同一個——

「能去做你自己認定是那個關鍵願景的問題,並且承諾把它傳播給全世界,最終的影響力比那張 1,000 萬或 5,000 萬美元的支票更大;支票本身也代表著影響力,但它是一個落後指標。」

Ali 的最後回應:「說得好。是的,你在前沿實驗室能賺很多錢,但你永遠不會有機會擁有那麼大的影響力——因為就在這場轉型當中,假設正在改變、新想法可以綻放。這就是該做那件事的時候。」

金句

"I hope that one day I will have a data brick in every home."(Berkeley 市長,Ali 轉述,約 01:42)

一位對排程演算法簡報全程打瞌睡的市長,醒來說出的一句話。「至今還沒發生。」

"There's this kind of attitude that you can change anything, you can question anything."(Ali,約 01:42)

他認為 Berkeley 之所以是 Berkeley 的原因;初來乍到時對他是文化衝擊。

"Anything else in software is sticky … With LLMs that is [not] the case."(Ali,約 01:46)

Databricks 同時服務專有與開源模型,資料顯示新模型一出、人們幾天內就搬走。但 harness 又把人黏住了——這正是 Omnigent 的問題意識。

"Isn't it crazy that everything is 90% saturated, but when you do a new one it's like 10%?"(Ali,約 01:54)

K Prize 結果引出的一句,直指 benchmark 飽和的荒謬。

"We should write benchmarks like software … you don't throw away the codebase every time you do a new version of Spark."(Andy,約 01:55)

整場最可操作的主張:刪掉飽和任務、加入更難的、每兩三週發一版。

"People who knew Terminal-Bench 2 really well knew that 83% was actually 100%."(Andy,約 01:55)

無解任務造就的影子文化——benchmark 作者最不想要的東西。

"Now instead you have your humans spending all their brain power coming up with the evaluation."(Andy,約 01:57)

從「人設計 agent 架構」到「人設計 eval、優化器去爬坡」的典範轉移。

"The internet already existed by 2000, but it took Brian at Airbnb till 2009."(Ali,約 02:04)

用來說明好點子本身就是瓶頸——基礎設施到位不等於應用到位。

"This is the best time to be alive and be part of it."(Ali,約 02:05)

他給焦慮的 Berkeley 學生與家長的答案。

"You can make a lot of money at the frontier lab, but you'll never ever have the chance to have as much impact."(Ali,約 02:07)

對談結語;Andy 的版本是:那張支票也代表影響力,但它是落後指標。