座談:軟體工程的未來

開場框架:什麼是「通往 enlightenment 的路」(約 03:15–03:17)

主持人 Anjney Midha(AMP PBC 創辦人)先說明時間只剩 14 分鐘,決定跳過所有暖場題,只留一題。他用自己的故事解釋 panel 標題:

幾年前,幾位在 OpenAI 帶研究的朋友打電話給他,說「我們訓練了一個叫 GPT-3 的小模型,我們想離開去開一家叫 Anthropic 的小公司」,他因此成為早期投資人。當他拿到還沒公開的 Claude 2 checkpoint 開始寫程式時,他清楚記得那個被模型 coding 能力「壓倒」的瞬間。

他的形容:「你手上突然有一支幾乎像火箭筒的東西,可以轟出任何你想要的軟體——那身為程式設計師與工程師,你到底該從哪裡開始?」 他認為要爬到台上這幾位(以及台下許多人)所在的「enlightenment 高原」,你往往得自己發明一套個人系統、一個心智框架,把那種壓倒感摔成生產力。

於是他的第一題就是:你同意這個觀察嗎?如果同意,你是怎麼跟它搏鬥的?那個「我需要練出一塊肌肉來聚焦這些能力」的時刻是什麼時候?(他也明講歡迎挑戰這個前提。)

主題一:各自的「馴服壓倒感」方法

Alex Graveley:安全地交出控制權(約 03:18–03:19)

• 關鍵是「釋放控制權」。這條路已經走很久了:我們原本寫每一行 → 開始自動補完一部分 → 讓 AI 組 commit → 整個 PR → 現在是整個 bug fix。
• 沿路上永遠有一種「想確切知道發生什麼事、想確認它是對的」的慾望。
• 但他認為更重要也更有用的做法是:找到一個能替你找出你真正在找的那些問題的系統,讓你根本不必自己去找。
• 具體來說就是好的 CI 系統、好的部署基礎設施——「這些東西讓你可以安全地放掉控制權,然後就讓模型去跑(let these models rip)。」
• 他順帶補了一句:「eval 也是很大的一部分。」

Ryan Lopopolo:先有一套關於系統該長怎樣的信念(約 03:19–03:21)

他開場就把 Graveley 那句 eval 頂回去,全場笑:「我這輩子沒寫過一個 eval,也很希望繼續維持下去。」

• 他的主張:你必須對「你想怎麼蓋這個系統」有一個堅定的信念,才追得好。而我們現在追得動,是因為軟體對我們而言已經是無限供給的。
• 主持人追問他的信念是什麼。他的回答:「我的信念是,這台機器跟我一樣有能力。而我是一個軟體工程師、一個公司裡的員工。所以我要能像你應該可以懶散地 prompt 我、或 prompt 我共事的其他 principal engineer 那樣,懶散地 prompt 它。」 而這種人能達成的 scope 是相當大的。
• 因此他一直在策展這些東西周邊的環境,好讓他能給出越來越模糊、越來越糟、越來越自相矛盾的資訊,仍然得到好結果。
• 做法上這需要把程式碼當成豐沛而可拋棄的構造物:觀察 agent 在一段 horizon 上怎麼走,從最後產出的那個高密度 artifact(一個 PR、一份 Word 文件、隨便什麼)回推它本來該有什麼 context、缺了什麼、被什麼搞混了;找出它做了哪些糟糕的決定,然後創造性地把東西放進它的環境——工具、測試、context、review agent——把它從上一版環境會讓它做的壞選擇上導開。
• 他對人類角色的定義是全場最精煉的一句:「人在這個系統裡的角色,基本上就是把所有那些隱藏的選擇抽取出來,再用適合 in-context learning 的形式提供給 agent。」

Peter Steinberger:把 loop 疊到 20 小時(約 03:21–03:23)

先接了一句:「對,這是最好的方式——我們的工作就是幫 agent 把它們的工作做到最好。」 然後給了一個很生動的現況:

• 「我剛剛人在後台,一邊講完我的演講,一邊在讀我的 agent 正在 land 的 PR。」 因為他現在對自己那套(姑且叫)loop setup 有足夠高的信心,相信它產出的程式碼會動、而且有好的測試覆蓋。
• 對比:這些工具剛出來時,它們能做事,偶爾做對他就很興奮,但真的很難用。 現在他回頭看那些舊專案,才看出 agent 進步了多少。
• 「我們往上爬了一階。」 他現在的做法是叫他的 agent 去維護它自己的 agent,而那些 agent 已經具備完整能力:不只寫程式,還會 review 程式碼、執行程式碼、看執行輸出,甚至再派幾個 agent 去精修產出。
• 「我的工作基本上就是把那些東西全部給那些 agent,然後推它們更努力工作。」
• 一個很具體的量級變化:他現在給一個 prompt 的平均執行時間是 5–10 小時、有時 20 小時,以前大概是半小時。 而這完全沒問題,因為他只是更多地平行跑;重點是結束時「它做到了我要的」的機率高得多。這就是他現在敢讓 agent 做完事直接推 repo 的原因——因為他把大量時間花在思考 pipeline 上。
• 他收在一個很好的判準上:「幾乎可以說,構成『一件事做得好』的所有選擇裡,並不是每個都有後果;沒有後果的那些,你幾乎不用在意。而我們在賦能 agent 這件事上的工作,就是找出哪些錯誤是有後果的,然後讓它們變得不可能發生。」

Michele Catasta:北極星是廢掉 prompting(約 03:23–03:24)

• 「到這個階段,我的北極星是盡可能地把 prompting 廢掉(deprecate prompting)。」
• 他的理由:prompting 從我們開始用 LLM 以來一直是必要之惡,但對他們這種面向非技術使用者的產品來說,prompting 是你能暴露給使用者的最大 foot gun——因為他們根本不知道該怎麼精確描述自己要什麼。
• 他的頓悟時點是第一批真正把 coding 訓練好的模型出現的時候(他說是 2025 年初,Sonnet 3.5 / GPT-5 那個世代)——關鍵在於那一刻起模型開始「一邊寫程式一邊 debug」。
• 從那個行為外推,看看今天走到哪、再想像一年後:他認為Peter 描述的那一切,將不只屬於技術使用者,而是屬於所有人。

主題二:安全性——Hugging Face 事件之後(約 03:24–03:27)

Midha 說時間只剩四分鐘,決定優先處理觀眾提問(來自 Amir):考慮到 Hugging Face 事件,你們怎麼看安全性?更具體地說,個人 agent 已經在替使用者做一些使用者沒預期、沒意圖的事了——你們有在重新思考架構或 harness 嗎?

Peter Steinberger:分離執行面,再疊監督層

他先自嘲「我覺得我現在需要戴我的 OpenAI 帽子,因為這正是我在那邊做的很多事」,然後把問題重述成:我們要怎麼跑「永遠在同步、永遠在動」的 agent,同時還能安心相信它在做對的事?

他的答案是系統設計而非模型層:

• 把 agent 「跑在哪裡」與它「能執行什麼」分開。
• 再放一個 agent 去監督那個 agent。
• 「有非常多槓桿可以拉,去放進更細粒度的控制與更多監督」,目標是建出一個系統:萬一 agent 因為任何理由脫軌,能被立刻攔下來。

Anjney Midha 的追問:你不知道自己該監督什麼

主持人直接反壓一層:「但這裡的張力不就是——在那個情境裡,問題是你根本不知道要監督什麼嗎?」 他把它連到全場多次提到的 elicitation overhang:真正搞垮你的是「你不知道自己不知道的東西」。 有沒有什麼技巧能降低這種事發生的機率?

Ryan Lopopolo:這是系統性問題,答案是把強制點左移

他先聲明自己對該事件沒有 context、沒有接觸過,再給出一個結構性的回答:

• 「安全計畫在組織裡,歷來都是靠人的流程控制(human process controls)來達成絕大部分成果的,而在技術控制(technical controls)上相對投資不足。」
• 「而這些助理再有幫助,它們並不必然遵守社會規範。你可以從它們用一些『很有趣的方式』完成任務裡看到這一點。」
• 因此他的結論——也是他工作中常講的:把強制執行點往左移(shifting enforcement further to the left),在這些領域裡越來越大量地擴散技術控制,是必要的。

主題三:閃電輪——新 checkpoint 出來時,你的第一個動作是什麼?(約 03:27–03:29)

Midha 的收尾題:當有新的 Codex 或新的 Claude 發布時,你用什麼第一個 prompt(或系統)去探測這個模型在軟體工程上的能力前沿?

• Alex Graveley——什麼都不做。 「我不做那種事。我就假設模型供應商會從所有人使用模型的方式裡學習,把它蒸餾成某種通用知識,然後在他們接觸過的所有領域裡都能用。」他的實用推論很銳利:「所以如果你想知道新模型擅長什麼,就去看過去三個月裡什麼東西出了 20 個變體——它就會擅長那些東西。」
• Ryan Lopopolo——丟掉所有先驗,從最大的野心開始。 「模型不太擅長覺察自己的能力。」所以與其問模型,不如「我和我的隊友做的事是:把我們建立起來的、關於模型能做什麼不能做什麼的每一條先驗全部丟掉,然後從你最宏大的野心開始,再看它在哪裡失敗。」 這個過程中你必然會 tree-shake 掉手上的工具與 context,可能得重寫或丟掉一部分。「但每一個新 snapshot,你都必須從宏大野心開始。」
• Peter Steinberger——把平行度往上推。 他用新模型做 orchestration,然後把模型必須同時 juggle 的平行任務數量往上加。他的具體指標:「64 個 sub-agent 以前是做不到的事,現在做得到了。」
• Michele Catasta——直接上線。 「我把它丟上 production。就是 YOLO。」全場大笑,他補了一句:「我不知道是不是每個人都該這樣做,但那是一種方式。」 主持人的評語:「這個 mic drop 太棒了。」

金句

"Haven't written a single eval in my life. Would love to keep it that way."(約 03:19,Lopopolo)

緊接在 Graveley 說「eval 也是很大的一部分」之後——同一場 panel 上最直接的一次立場分歧。

"I want to be able to prompt the thing as lazily as you should be able to prompt me or any of the other principal engineers that I work with."(約 03:19,Lopopolo)

他為 agent 設的標準,是他為自己這種資深工程師設的標準。

"The role of the humans in the system is to extract all of those hidden choices and provide them to the agent in sources that are amenable to in-context learning."(約 03:21,Lopopolo)

全場對「人還剩下什麼工作」最精確的一句定義。

"I was literally backstage reading the PRs that my agents were landing while I was doing my talk."(約 03:21,Steinberger)

信任程度的具體度量。

"My average run for whatever prompt I give is now 5–10, sometimes 20 hours, where it used to be like half an hour."(約 03:22,Steinberger)

一年之內 loop 長度的數量級變化。

"Our job in empowering the agents is to figure out which mistakes are consequential and make them impossible."(約 03:23,Steinberger)

不是防止所有錯誤,而是分類錯誤。

"My northstar is to deprecate prompting as much as possible. … Prompting is the biggest foot gun you can expose to [non-technical users]."(約 03:23,Catasta)

面向一般使用者的產品觀點,跟工程師觀點正好相反。

"As helpful as these assistants are, they do not necessarily conform to social norms."(約 03:26,Lopopolo)

為什麼靠人的流程控制撐起來的資安體系會在 agent 面前失效。

"If you want to figure out what the new model is good at, just look at what there's 20 variants of in the last three months."(約 03:28,Graveley)

能力前沿的一條免費指標。

"You have to start from grand ambition at every new snapshot."(約 03:28,Lopopolo)

避免被自己過時的先驗綁住。

"I ship it in production. You just YOLO."(約 03:29,Catasta)

全場最後一句,收在笑聲裡。