o3曝智商高達157,比肩愛因斯坦碾壓99%人類!陶哲軒水平AI或出現

新智元報道

編輯:編輯部 HYZ

【新智元導讀】OpenAI o3的智商,竟然已經高達157,碾壓99%的人類?這張OpenAI模型智商圖全網瘋轉。甚至有人大膽預測:達到陶哲軒智商(225-230)的大模型,應該會很快出現了。

o3智商竟有157,堪比愛因斯坦?

今天,一張OpenAI模型智商圖,在全網傳遍了。

基於編程競賽Codeforces排名評分

圖中清晰可見,能夠達到o3智商水平的人類大約佔比僅有0.0075%。

13333人當中,也僅有1人IQ是o3級別的。對於GPT-4o,6人當中就有1人能夠達到IQ 115的水平。

從GPT-4o、到o1系,再到o3系,模型IQ逐漸遞增,也僅用了1年時間,實現了質的飛躍。即便是最強o1 pro(IQ爲139),o3完全領先近20分。

有網友表示,用不了多久,我們口袋裡就會擁有一個IQ 157的智能。

還有人稱,陶哲軒智商大約在225-230之間,未來模型很快就能達到這個水平。

o3超高智商背後

o3發佈之後,很多人都認爲AGI實現了。

從o1到o3,OpenAI僅用了3個月;從o1 pro到o3,僅用了1個月。種種跡象表明,Scaling Law並未終結。

過去五年,OpenAI模型在ARC-AGI上的得分,也說明了一切。

OpenAI研究員Nat McAleese在o3發佈當天,分享了一些關於模型的介紹。

他表示,o3代表着通過強化學習在通用領域的巨大進步。

o1是首個大規模推理模型,也僅僅是一個通過RL訓練的大模型。o3是通過在o1基礎上,進一步scaling強化學習而開發的。

我們已經看到,o3在世界上最具競爭的編程基準CodeForces中得分超2700,完全達到了國際大師的水平。

與此同時,o3在數學基準FrontierMath驚豔表現令人生畏,甚至擊穿了陶哲軒的預言。

在Keras之父François Chollet轉寫的報告中,也解釋了o3與以往舊模型之間的區別:

而且,他表示,這種方式與AlphaZero的蒙特卡洛樹搜索並無太大差異。

本質上,o3是一種深度學習引導的程序搜索形式。

不過,即便o3進化速度如此瘋狂,OpnenAI研究員Will depue表示,這還不是AGI,我們還有很長的路要走。

o3 ARC-AGI測試被曝「作弊」?

而且就在最近,o3的ARC-AGI測試結果,在圈內引起了不小的爭議。

要知道,這個基準設立的初衷,就是專門找到那些對人類很容易,對AI來說卻很難的題目。

根據OpenAI的說法,在ARC-AGI這個基準測試中,o3在低計算模式下,在半私有評估中的得分爲75.7%;在高計算模式下,得分爲87.5%。

而人類在該任務上的表現通常在85%的水平,也就是說,o3在高計算模式下,已經超越了人類。

這個結果,引起了多人的質疑:OpenAI不會專門針對這個任務做過訓練吧?

要知道,在直播的第12天,奧特曼專門強調過,「並未對模型做過特殊處理」。

對此,心細的網友們紛紛展開調查。

比如這位名爲Knight Lee的網友,就表示o3在ARC-AGI上的分數是經過微調的,而之前的AI分數並沒有被微調。

他表示,o3的一個主要優勢,就是接受過示例測試問題的明確訓練而已。

之所以有這樣的觀點,是他引用了ARC-AGI設計師François Chollet的說法——

這個這個說法爲真,那o3所取得的分數,顯然佔了很大便宜。

OpenAI研究員Zach Stein-Perlman反駁說,他們沒有針對ARC對o3做過微調。

不過今天出來的o3智商157的結果,至少可以爲它的性能稍稍正名了。

o4纔是Orion?

而且,在o3之後,或許還會有IQ更強的模型現身。

Information獨家爆料稱,o3並不是代號爲Orion的模型。相對的,Orion可能會作爲o4的基礎模型。

OpenAI研究員Jason Wei稱,從o1到o3僅用了3個月的時間,這表明在新範式下,進展遠快於預訓練範式每1-2年更新一次模型的速度。

推理模型的優勢在於,利用更多計算資源思考之後,能夠彌補預訓練的放緩速度。

也正因此,o3推理代價是高昂的。ARC-AGI基準測試報告中,已經披露了o3在每個高計算任務中的成本會超過1000美金。

這也充分解釋了,OpenAI博士級AI助手能達到每月2000美元的原因。

另一位OpenAI研究員John Hallman對此表示,當Sam和我們研究人員說AGI即將到來時,我們不是爲了給你畫大餅,不是爲了推2000美元的訂閱,也不是爲了誘騙你投資我們的下一輪融資。它真的要來了。

目前,不清楚的是,o3對普通ChatGPT用戶能帶來多大幫助。

o3可能在編程、數學、科學領域表現,對編程、數學和科學領域的人員幫助最大,包括那些研究極其困難問題(如核聚變能源)的研究人員。

而對於普通用戶而言,新模型可能有點「大材小用」。

雖然o3表現出色,其他科技巨頭也不甘示弱。

谷歌強勢推出了Gemini 2.0 Flash、視頻模型Veo 2,以及由耗資30億美金聘請AI研究員Noam Shazeer開發的推理模型。

一些對價格敏感的開發者,紛紛轉向了谷歌Flash模型。

可以看出,推理模型仍將繼續超進化迭代,2025年也將會如今年一樣令人興奮。

參考資料:

https://x.com/i_dg23/status/1871135348069482993

https://x.com/kimmonismus/status/1871162085675253977

https://x.com/SmokeAwayyy/status/1871273888191221922

https://www.theinformation.com/articles/openai-wows-the-crowd-as-new-scaling-law-passes-its-first-test?rc=epv9gi