Zero Ops:agent 執行,人類治理

TL;DR

• 口號翻轉:數十年來是人在操作軟體系統(dashboard、metrics、alert、automation,近期加上 Copilot),但主體仍是人;Zero Ops 要把主體換成 agent,人退到治理位。
• 一句定義:Zero Ops 不是 removing humans from operations,而是 removing the operations from humans。
• 護城河不是模型:模型可換、且每天在變好;不可換的是你的 source code、production telemetry、institutional knowledge,以及你給系統的 skills 與 tools。
• 成熟度是 crawl / walk / run / fly,而 fly 不只是「agent 會執行」,而是 agent 執行完自己驗證結果,再把結果交給人類覆核——這就是 outcome-based engineering:人審的是結果,不是每一個 diff。
• 規模數字:Microsoft 內部以 Azure SRE Agent 部署超過 5,000 個 agent,處理 150 萬件 incident,其中約 22 萬件完全自動化。

重點整理

五分鐘的自我示範(約 00:41)

他開場就說:「顯然在 agentic AI 裡,壓縮是一門真功夫」——他要用五分鐘把 Microsoft 過去兩年建 agent、跑 agent 的所有心得講完,並承諾守住五分鐘。(最後也真的做到了。)

要翻轉的現況是:數十年來我們建 dashboard、metrics、alert、automation,最近再加上 Copilot 幫忙做事——但操作者始終是人。Zero Ops 講的就是怎麼把這個關係翻過來。

一頁投影片的四個結論(約 00:42)

1. Zero Ops 的定義:不是把人從維運中移除,而是把維運從人身上移除。人被「升級」去做更有影響力的事——創新、治理。
2. 模型可換,context / governance / tools 不可換。模型每天都在變好,所以不要把資源押在模型上,押在後三者。
3. 光靠模型給不了你可用的 agent:你得能治理它、控制它,並給它正確的 context。企業喜歡拿到的智能,但如果他們無法控制這份智能,你就贏不到他們的信任。
4. 信任要有可驗證的指標:你必須能驗證 agent 做了什麼、產出的結果是什麼。

Crawl / walk / run / fly:什麼叫「fly」(約 00:43–00:44)

Zero Ops 是一個目的地,路上有階段。關鍵在於最後一階的 fly 不等於「agent 會執行動作」,而是「你允許 agent 去做某件事、它自己驗證結果、再把結果交給人類驗證」。

他給的例子很具體:某個 API 因為效能變慢而出現 regression。

• 只是及格:agent 開一個 PR。開 PR 很容易。
• 這才是 fly:agent 開了 PR,還把 PR 部署到測試環境、驗證 regression 確實消失、效能回到正常,然後才把這整份結果交出來。

這就是他說的 outcome-based engineering——人類不再逐行審 diff,而是審結果。

Context 是一切,治理是門票(約 00:44–00:45)

• 模型不是你的護城河。你的護城河是:source code、production telemetry、institutional knowledge,以及你提供給系統的 skills 與 tools。把這些準備好,agent 才能真的自動化並完成工作。
• 企業要能信任 agent,需要五件事:audit(稽核)、control(控制)、evaluate(評估)、roll back with confidence(有信心地回滾)、prove with evidence(用證據證明 agent 做的事是對的)。沒有這些,企業不會放行。
• 還需要 permissions 與 metrics:metrics 用來驗證結果,permissions 是企業願意規模化部署 agent 的前提。

規模驗證:Azure SRE Agent(約 00:45–00:46)

他強調這些能力不需要從零自建——前面講的全部都已內建在產品裡。Microsoft 內部的實績:

• 部署超過 5,000 個 agent(企業層級),使用者包含 Microsoft 內部一些最大的工程團隊。
• 處理 150 萬件 incident。
• 其中約 22 萬件 incident 完全自動化。

結論公式:context + governance + metrics 三者到位,才算真正達成 Zero Ops。

金句

"This is not about removing humans from operations. It's about removing the operations from humans."(約 00:42)

整場五分鐘的核心定義。

"Enterprises love the intelligence they get out of it. But if they cannot control the intelligence, then you're not going to earn their trust."(約 00:42)

企業採用的瓶頸從來不是模型能力,而是可控性。

"Humans are not reviewing every diff, they're reviewing the outcome."(約 00:44)

outcome-based engineering 的一句話定義。