當語言模型學會推理的那一刻

TL;DR

• 這場演講全部用四到五年前的原始內部投影片——「有句話說,沒有什麼比昨天的報紙更不新鮮」,而這些投影片又老又醜,因為當初根本不是為了公開報告做的。他形容這是一趟「時光旅行」,去看看當年做 reasoning 是什麼感覺。
• 核心圖像:把「難度」的二維輪盤加上第三個軸——thinking time。 Pre-training 只讓已解問題的圓圈從中心往外緩慢擴張,永遠碰不到最難的問題;reasoning 是問「能不能讓這個圓柱體隨時間往外長」。
• 決定性的早期證據:只是在 prompt 裡不斷加上「一步步想、把過程寫出來、確認沒有錯」,模型輸出的文字長度就變長,而準確率隨著輸出長度上升。這條曲線就是後來一切的起點。

重點整理

為什麼要看老投影片(約 00:33)

「這些投影片有五年了,每一張都是四到五年前的。」他要展示的是 OpenAI 內部最早期談 reasoning 的簡報,「這不是在談未來」。投影片很醜,因為它們從來就不是為了這種場合準備的,只是很久以前給團隊看的東西——「把它當成某種時光旅行,看看那時候做 reasoning 是什麼樣子」。

什麼是 reasoning:那個轉三維的輪盤(約 00:34–00:36)

當年他們的思考方式是這樣的:

• 想像一個彩色輪盤,代表所有問題的空間。角度代表主題(AI、數學、物理、生物…),離圓心的距離代表難度。
• 當時他們在 pre-train GPT-2、3、4,能解的問題圈子就從中心往外擴張,把各主題都覆蓋一點點,並隨著規模成長解出稍微難一點的問題。
• 關鍵疑問是:那些真正困難的問題,什麼時候才會被解開? 他舉 Andrew Wiles 為例:證出費馬最後定理的人想了七年——但他不是同時解決所有問題,他是花七年解一個問題,而大多數困難問題都是這種形狀。所以「單純把模型 pre-train 得更博學」這條路,看起來不太可能把圓圈擴張到覆蓋所有最難的問題。
• 那人類怎麼做?我們會思考、會推理。能不能給模型同樣的能力?
• 於是投影片做了一個花招:把輪盤傾倒、推到畫面一側,騰出第三個軸:thinking time。問題就變成——「怎麼讓這些圓柱體隨著時間往外長?」
• 今天聽起來也許可笑,但當年確實如此:你給模型更多時間,它會給你一模一樣的答案,因為幾毫秒就吐完了,它不知道拿多出來的時間做什麼。
• 還有個現實限制:Andrew Wiles 想了七年,而當時模型的 context 只有幾千、也許 8,000 個 token——「8,000 個 token 你能做什麼?頂多幾秒鐘的 reasoning。」就算真的讓它會推理,這怎麼可能發生?

第一批證據:如果我們就直接叫它想一想呢?(約 00:37–00:40)

另一個當年沒有答案的問題是:reasoning 的載體(substrate)是什麼? 花掉 test-time compute 的方式有很多種,例如用 recurrent network 在內部多跑幾步。結果文字的效果非常好。

他接著展示自己加入 OpenAI 後第一個專案的探索——在模型從未被訓練去思考的情況下,單純要求它思考會發生什麼。這是給團隊信心去擴張規模的其中一塊拼圖。

三個例子(「以今天的標準很蠢,但正好看出短短時間內我們走了多遠」):

1. 馬鈴薯:問 GPT-3 有 29 袋馬鈴薯再加 17 袋之類的題目,模型回答「46 公斤馬鈴薯」——完全錯。加上「先想一想再回答」,模型不會立刻給答案,而是先吐一段文字,然後至少有時候會答對——相較於原本的「從不」。
2. 樂器:「我有一支單簧管、一台鋼琴、一隻狗,我有幾件樂器?」模型說 1,錯。拆解成一步步後,模型推理出「狗不是樂器、單簧管是樂器、但鋼琴不是」——還是 1。於是再加上「也請一步步拆解」讓它想得更久一點,才終於答對。
3. 數東西:一張椅子、一台音箱、一個烤箱…模型說 20,正解是 14。當年可以直接查模型輸出「14」的機率——2%,基本上等於永遠不會。加上「一步步拆解」後,模型逐項數出一長串,答案就變好了。

把直覺變成量化曲線(約 00:39–00:40)

他展示了最早的兩張量化圖:

• 第一張:不斷疊加 prompt 指令(「一步步想」→「拆解開來」→「我真的要你把所有工作都做完、把過程全寫出來、確認沒有錯誤」),模型從幾乎解不出題,變成能解越來越多題。
• 第二張(他說順序放錯了,應該跟前一張一起看):模型生成解法的平均長度。一開始只叫它解題幾乎什麼都不輸出;隨著指令疊加——還得用「First,」開頭這種小技巧,免得模型又想直接給答案,而是進入「接下來會是一長串待辦事項」的模式——「有了第一點,就一定會有第二、第三點,那就多輸出一些文字吧」。
• 結論:模型輸出的文字量增加,準確率就跟著上升。

「從那之後很多人做了這個方向,我們做了一個大專案,然後還有很多元件現在還不能談。但就是這樣——非常卑微的開端,眾多開端之一。我覺得在這一堆談未來的演講之中,讓大家看看這個,可能挺有意思的。」

金句

"There's this saying that there's nothing more stale than yesterday's newspaper. Well, these slides are five years old."(約 00:33)

開場白,也是整場的框架:刻意反其道而行,講最不新鮮的東西。

"There was a time where you would give a model more time to think and it would give you the exact same answer, because after a few milliseconds you would get the answer and it would not know what to do with the extra time."(約 00:36)

一句話標記了那條分水嶺——今天聽起來荒謬,但這就是起點。

"Very humble beginnings — one of many. I thought it was interesting maybe for you guys to see this in the midst of these talks about the future."(約 00:41)