媒體再爆：OpenAI的GPT-5訓練遇阻，時間延遲且成本高昂

AI的下一個飛躍似乎沒法準時報道了。

當地時間20日，據《華爾街日報》報道，OpenAI的新一代人工智能項目GPT-5（代號Orion）正面臨重重困難。該項目已開發超過18個月，成本花費巨大，卻仍未取得預期成果。

有知情人士透露稱，OpenAI的最大“金主”微軟原本預計能在2024年中期左右看到新模型。而OpenAI曾進行過至少兩次大規模訓練，每次都耗時數月並消耗海量數據，但每次都出現新問題，軟件無法達到研究人員所期望的結果。

分析認爲，世界上可能沒有足夠的數據讓它變得足夠聰明。

鉅額成本令人咋舌，GPT-5項目進展不順

分析師此前預測，科技巨頭們可能會在未來幾年在人工智能項目上投入1萬億美元。還有估算顯示，GPT-5一次爲期6個月的訓練僅計算成本就高達約5億美元。OpenAI首席執行官Sam Altman則表示，未來的AI模型成本預計將超過10億美元。但瞭解該項目的人士表示：

今年10月，投資者給予OpenAI的1570億美元估值很大程度上是基於Altman的預測，他此前稱，GPT-5將是一次“重大飛躍”，他還曾說GPT-4表現得像一個聰明的高中生，但最終的GPT-5實際上在某些任務上更像擁有博士學位。

報道稱，GPT-5應該能夠解鎖新的科學發現，並完成諸如預約或航班等日常人類任務。研究人員希望它犯的錯誤會比現有的AI少，或者至少承認“懷疑”，因爲目前的模型可能會產生幻覺。

不過，對於“何時能成爲足夠聰明的AI”還沒有固定的標準，更多的是憑感覺。

而到目前爲止，正在開發中的GPT-5給人的感覺還是不夠強。Altman在11月表示，“2024年內不會發布任何名爲GPT-5的產品”。

數據短缺成爲主要瓶頸

爲了不使鉅額投資“打水漂”，研究人員試圖通過小規模試運行來最大限度地降低這種失敗的機率。

但是，GPT-5的計劃似乎從一開始就存在問題。2023年年中，OpenAI開始了一次訓練運行，同時也是對Orion擬議的新設計的測試。但這個過程進展緩慢，這表明更大規模的訓練可能需要非常長的時間，而這反過來又會使成本變得異常高昂。

OpenAI的研究人員決定進行一些技術調整來增強Orion，他們還發現，要讓Orion變得更智能，就需要更多高質量、多樣化的數據。模型的測試是一個持續的過程，大規模的訓練運行可能需要幾個月的時間，數萬億個token會被“投喂”給模型。

然而，公共互聯網上的新聞文章、社交媒體帖子、科學論文等數據已不足以滿足需求。DatologyAI首席執行官Ari Morcos說：

爲解決這一問題，OpenAI選擇從頭開始創建數據。他們僱傭軟件工程師和數學家等專業人士編寫新代碼或解決數學問題，以此作爲訓練數據。

公司還與理論物理學等領域的專家合作，解釋他們將如何處理該領域最棘手的問題，但這個過程非常緩慢，GPT-4的訓練使用了大約13萬億個token。即便有1000人每天寫5000字，數月之內也只能產生10億個token。

OpenAI也開始開發“合成數據”，利用AI生成的數據來訓練Orion，並認爲可以通過使用其另一個AI模型o1生成的數據來避免故障。

谷歌迎頭趕上，OpenAI慌不擇路？

今年，隨着谷歌推出了最受歡迎的新AI應用程序NotebookLM，OpenAI更慌了。

由於Orion停滯不前，公司開始開發其他項目和應用程序，包括精簡版的GPT-4和可以製作AI生成視頻的Sora。但知情人士表示，這導致了開發新產品的團隊和 Orion研究人員之間需要爭奪有限的計算資源。

另外，OpenAI也正在開發更先進的推理模型，認爲通過讓AI“思考”更長時間，可以解決訓練中未遇到過的複雜問題。

然而，這些新策略也面臨挑戰。蘋果公司的研究人員發現，包括OpenAI的o1在內的推理模型很可能只是在模仿訓練數據，而非真正解決新問題。此外，o1生成多個答案的方法也大大增加了運營成本。

儘管如此，OpenAI仍在堅持不懈地推進GPT-5的開發。週五，Altman宣佈了一個比以往任何產品都更智能的新推理模型計劃，但未透露何時或是否會推出堪稱GPT-5的模型。