小模型準備好當 Coding Agent 了嗎?

TL;DR

• 動機很個人:一次跨大西洋航班上斷網,他發現「身為 AI 科學家,沒有 coding agent 我效率低得可怕」,於是決定自己寫一個本機 coding agent,測試 MacBook 上跑的本地 LLM 能不能處理真實的 agentic coding 任務。已開源。
• 三個設計原則:(1) 把傳給小模型的 context 壓到最小——小模型吃大量 context 表現會壞掉;(2) 一次只做一個很小的動作,並立刻驗證;(3) 盡量少用 reasoning,只在出錯後的 recovery loop 才動用。
• 實測結論:小模型能完成大部分工作,但做不到自我驗證與 observe-fix 的完整閉環——開發一個 app 功能時「大多數測試會過,但不是全部」;Qwen 3.6 與 Gemma 4 兩個家族都是同樣的故事。
• 定位:比 Codex / Claude Code 這種大型 code base 輕巧得多;他也拿去和目前最精簡的 harness 以及 OpenHands 比較,結論是他的更小,專為本機超小模型設計,仍在 work in progress。

重點整理

起點:飛機上沒網路的那幾個小時(約 00:37–00:38)

這是一個很個人的故事。幾個月前他搭跨大西洋航班,意識到身為 AI 科學家,一旦斷線、沒有 coding agent,自己會變得非常沒效率。於是他決定寫一個自己的本機 coding agent,看看跑在 MacBook 上的本地 LLM 到底能不能處理真實的 agentic coding 任務。這個專案最近才開源,repo 裡也放了這場簡報。

三個設計原則:小、驗證、少想(約 00:38–00:40)

這個 agent「一次只做一件小事」,設計圍繞三個關鍵想法:

1. 最小化傳給小模型的 context。本機跑的小語言模型在被塞入大量 context 時表現並不好。
2. 一次只做極小的動作,做完立刻驗證。
3. 盡可能減少 reasoning,只在出錯後的 recovery loop 才啟用。

他舉的例子很具體:給小模型(這裡是 Qwen 3.6)一個 hello world 等級的任務——寫個小程式、編譯、執行。結果失敗了,因為它把程式編譯進暫存目錄,卻要從另一個目錄執行。這類事情對小模型來說特別難自己看出來,所以只能把改動切得非常小、逐一驗證。

Harness 本身很簡樸:一個 minimal loop、就一個檔案,原本約 1,000 行,現在接近 2,000 行。核心策略是少做大的 planning 步驟、多走小步,只有出錯時才回頭。

評估:能寫,但不會自我驗證(約 00:41–00:42)

他跑了數百個測試:

• Smoke test:兩個 LLM 家族——Gemma 4 與 Qwen——基本上都能用,只有一個 Qwen 模型不行。這一步只是確認可用性的 sanity check。
• 真實任務:替一個 app 開發功能。發現這些 agent 能完成大部分工作,但問題出在它們無法驗證自己的成果、缺少「觀察發生了什麼 → 回頭修正」的完整閉環。結果就是大多數測試會過,但不是全部。Qwen 3.6 與 Gemma 4 都是同樣的模式。
• 一個誠實的但書:這些評估其實跑在 OpenRouter 上、不是本機——因為本機跑會花掉太多時間,而且他的 MacBook 記憶體有限。

定位與比較(約 00:42–00:43)

他的總結是:這是一個用極簡 harness 在本機跑的小 agent,證明了不需要 Codex 或 Claude Code 那樣龐大的 code base,也能靠很小的 LLM 把事情做起來。他也做了幾個比較:

• 對比目前大家在用的最精簡 harness(字幕作 "PI harness"),他說那個比 Codex 或 Claude Code 有效率得多。
• 也和 OpenHands 做了比較。
• 結論是他這個比上述兩者都更小,專門面向本機的超小 LLM。

他強調專案仍是 work in progress、還有很多問題,並在台上直接徵求回饋。