全知 agent

TL;DR

• 今天的 agent 是一堆 primitive 的堆疊——執行層、資產產出、orchestration(sub-agent、skills、memories、排程、loop)、live data。你從零做 agent 就得把每一個都自己實作一遍。
• 真正的瓶頸是「你的注意力」。agent 不太知道該做什麼、對「下一步」的建議常常很糟,所以人必須在迴圈裡指揮;而這條信任階梯已經爬了很久:tools → commits → 單一 PR → 多個 PR(loop)→ features → projects → 整個產品。
• 推動 scope 上升的是兩條軸:insight(能取得什麼資料、以什麼形式)與 control(能對資料與線上系統做什麼)。 方向是從「看見程式碼」走到「看見整間公司」。

重點整理

問題設定:agent 被它看得到的東西限制住了(約 03:07)

他先自我介紹:GitHub Copilot 與 Perplexity Computer 的主導者,剛創辦新公司 FlyingObject 來做這場演講的主題。

「傳統上,agent 一直被它能看見與能存取的東西所限制。而我們認為,正是這一點使得『人必須在迴圈裡』成為必要。」 他要的是讓人更少地待在迴圈裡,或至少能把迴圈裡不同的部分外包給 agent。

今天的 agent 是一堆 primitive(約 03:07–03:09)

如果你要從零做一個 agent,下面每一項都得自己實作:

• 執行層(execution layer):跑在本機或 sandbox 裡,附帶一堆操作檔案、執行指令、跑 CLI 的能力。
• 資產產出(asset creation):文件、網站,而 PR 也是一種資產形式——大家正在努力讓 agent 把這件事做好。
• Orchestration primitives(他說細節不重要,重要的是它們各自解決什麼):
• sub-agent:有跟 parent 不同的 context,這件事本身有用。
• skills:填補權重沒有以你想要的方式表達出來的那些空缺。
• memories:讓 agent 能從過去學習。
• 排程任務(scheduled tasks):需要重複發生、或按時間表跑的事。
• loops:目標導向的執行——個別任務壓縮成一個 loop,而 loop 在目標達成前不會結束。
• Live data:web search、browser control、computer control、MCP、API,諸如此類。

「這就是 agent 今天的位置。」

瓶頸是你的注意力(約 03:09–03:10)

這些東西的共同點是:你仍然在控制這些 agent。agent 不太知道該做什麼,它對「下一步做什麼」的建議常常很糟,所以人必須在迴圈裡指揮。

結果是:瓶頸變成你——一個「使用 agent 的工程師」——的注意力。 你在管理 loop、同時跑一堆平行的東西、判斷哪些出錯了哪些順利;你大致知道發生什麼事,你可以停掉、可以 fork、可以重啟。

信任階梯:我們一直在往上爬(約 03:10–03:11)

他指出今天做這件事的方式,跟一年前已經很不一樣了——agent 自我導向的方式變了。我們其實一直在往上爬一座複雜度階梯:

1. 只有 tools:我們信任 agent 呼叫正確的工具。
2. commits:開始信任 agent 做 commit。
3. 整個 PR:開始信任 agent 產出完整的 PR。
4. 多個 PR(現在的位置):信任 agent 為了達成 loop 型的目標而連續產出多個 PR。
5. features(他認為的下一級):一個 feature 可能包含跑實驗、看即時資料、檢查 exception、檢查使用者情緒、把接觸到這個功能的人分群,以檢驗它是否影響你的主要目標——例如留存率或營收。
6. projects:一組能服務產品中某個需求的 features 集合。
7. whole products(頂端):你對一個自我導向的 agent 用很高階的方式描述你要做的產品,它就去做出來、部署、迭代,自己搞清楚需要哪些 feature(也許是別處根本不存在的),試幾種不同做法,以這種方式自我導向。

兩條軸:insight 與 control(約 03:12–03:13)

每往上爬一級,都需要新一輪的模型迭代、或大得多的 agent harness 複雜度。 那要怎麼讓 scope 持續上升?他認為共通點是兩條軸:

• Insight:agent 能取得什麼資料,以及以什麼形式取得,好讓它能從中導出洞見。
• Control:它對那些資料與線上系統動手的能力。

方向因此是從「看見程式碼」走到「看見整間公司」。這樣才能開始搞清楚:真正的商業目標是什麼?為了達成這些目標,應該存在哪些產品、哪些功能? 他強調現在這件事完全靠人去想、去猜——而他們要的是讓 AI 有能力做這件事。

而產品開發週期的另一半同樣需要 control:跑實驗、部署變更、監控線上系統、視需要擴展這些系統。 兩條軸加起來,就是 agent 的 scope 正在成長的方向。

(他在此處說了一句 "sorry I'm out of time",最後兩節講得較快。)

開放問題(約 03:13–03:14)

• 處理大量資料:一般而言你會想把一間公司內部發生的所有事都 ingest 並索引起來。
• 壓縮知識:把那些知識壓縮成 agent 真的能用的形式。
• Triggers:要有觸發機制。
• Agent 之間互相感知與協調:如果你要同時跑大量實驗、而且可能沒有人在迴圈裡,agent 必須彼此知道對方存在並有效協調。
• 最難的一點:有時候你根本不知道自己在優化什麼目標函數。

收尾(約 03:14–03:15)

「我們想做的是把整個系統圈起來、捕捉一切;把 macro context 交給 agent,讓它們能在完整的覺知下運作;再給它們正確的 primitive,讓它們能部署變更、監控那些變更、並擴展那些變更,以達成商業目標。」 他承認這會是一個往上爬複雜度堆疊的過程,但他認為那就是方向。想試早期版本可以上 FlyingObject 的候補名單,或在 Twitter 上找他。

金句

"Traditionally agents have been sort of limited by what they can see and access. And we think that this necessitates having a human in the loop."(約 03:07)

整場的因果假設:人在迴圈裡是「視野不足」的症狀,不是原因。

"Today's agents are a pile of primitives."(約 03:07)

從零做 agent 的現況:每一塊都得自己補。

"The bottleneck becomes your attention as an agent-using engineer."(約 03:09)

跟同場 Ryan Lopopolo 的「三種稀缺資源」直接呼應。

"We started with just tools. … Where we are now is trusting the agent to make multiple PRs."(約 03:10)

自主度的實際計量單位是「你願意信任的 artifact 大小」。

"The axes that drive scope are insight and control."(約 03:12)

他對「怎麼把 agent 的 scope 往上推」的核心答案。

"We're moving from seeing the code to seeing the entire business."(約 03:12)

「Omniscient」的具體定義。

"Sometimes you don't even know the objective function you're optimizing."(約 03:14)

自我導向 agent 最難的一個開放問題。