免驗證器演化的統一編排系統

TL;DR

• 問題在「驗證器太貴」:既有的科學/演算法探索框架多半需要外部驗證器,但在物理科學等領域,評估本身既昂貴又耗時。他們要問的是:沒有 verification in the loop 的演化系統,上限在哪裡?順便能不能省錢?
• 單模型演化會自己退化:用單一模型跑演化,常常反而讓效能變差——因為一個模型的熵與創造力就是有限。解法是把演化迴圈變成多模型的,用模型異質性本身當作多樣性的來源。
• 難易分流同時買到多樣性與成本效益:用 token log-probability 或解答多樣性當 fitness function,把困難的解交給昂貴模型,把「容易評估與合併」的解交給便宜模型。結果:ARC-AGI 上 10 步演化搭配強模型可達 97.5%、約 $7/題;把便宜模型混進來後,只要 2 步演化就能保住同樣準確率,成本降到約 $5.9/題。

重點整理

探索迴圈的四個零件,以及 verifier 的成本問題(約 00:41:53–00:44:20)

Ben Athiwaratkun 講的是 Squeeze Evolve——一套用於免驗證器演化(verifier-free evolution)的多模型統一編排系統,應用場景是科學探索。

他先拆解科學探索迴圈的組成(這個拆法取自 SkyDiscover),有四個明確零件:

1. Context builder:提供問題脈絡,並把想法、指引、以及對過去失敗與成功的反思注入 prompt。
2. Solution generator:通常是一個 LLM,可以存取環境——例如執行程式碼,或查網路。
3. Evaluator:給分數、給 log、給回饋,以及必要的產出物。
4. Solution selector:從解答與 metadata 中挑出樣本解,送回 context builder,進入下一輪迴圈。

問題來了:既有的探索框架大多需要外部 evaluator/verifier。在物理科學這類領域,評估既昂貴又耗時。所以他們的研究問題是:在沒有 verification in the loop 的情況下,演化系統的上限在哪裡?同時能不能把成本壓下來?

為什麼要多模型:單模型演化的退化(約 00:44:20–00:46:00)

演化系統的另一個典型問題是解答退化(degradation)(約 00:44:31)。他講得很直白:如果用單一模型跑演化,常常反而讓效能變差,因為一個模型裡的熵與創造力就是有限的。他們的解法就是:用多個模型來處理這個多樣性問題。

機制上,從前幾代與當代的多個解答/世代中選樣,並指派機率式的 fitness score。Fitness function 用的是 token log-probability,或是解答本身的多樣性(約 00:45:12)。

分流規則很直接:

• 困難的解 → 交給昂貴模型(用來提升多樣性)。
• 判定為「夠容易評估與合併」的解 → 交給便宜模型(約 00:45:47)。

這樣一來,多樣性與成本效益同時提升——這正是這套方法的核心設計。

結果:更少步數、同樣準確率、更低成本(約 00:46:00–00:47:58)

主要數字(約 00:46:11):完整 pipeline 跑 10 步演化、搭配強模型(逐字稿聽為 Gemini 3.1 Pro),在 ARC-AGI 上準確率達 97.5%,成本約 $7/題。而在混入便宜模型(逐字稿聽為 Gemini 3.0 Flash)的情境下,只要 2 步演化就能保住同樣的準確率,成本降到約 $5.9/題。

另一個有意思的觀察:在視覺類任務上,aggregator 階段不使用視覺元件反而能顯著提升成本效益。圖表上那條紅色曲線是全程使用強多模態模型的情況——效能確實很高,但累積的每題成本也等比例地高。而在 Squeeze Evolve 的做法裡,結合強模型與較便宜的模型層級後,成本大幅下降,而且在部分異質配置下甚至能勝過單模型的表現。

最後他分享兩件落地資訊:這項工作已整合進 NVIDIA Dynamo(現場向 NVIDIA 致謝),並且有一個 Claude Code plugin 可用。

金句

"If we use a single model to perform evolution, it is often the case degrading the performance, because there's only so much entropy and only so much creativeness in a single model."(約 00:44:35)

多樣性不是調參數調出來的,是靠模型異質性換來的。

"In the scenario where we use a cheap model in the mix … we're able to retain the same accuracy with only two evolution steps."(約 00:46:25)

混入便宜模型不只是省錢,還把需要的演化步數壓下來了。

"In the heterogeneous case we're able to outperform the single model scenario."(約 00:47:25)

異質組合的價值不只在成本,有時直接贏過最強的單一模型。