OpenAI聯合創始人Andrej Karpathy：談談AGI，以自動駕駛爲例

【編者按】ChatGPT、GPT-4 的出現，讓人們真真正正感受到「大模型改變世界」的強大能力。然而，關於大模型的討論大多是抽象的、不具體的，或許過於樂觀，或許過於憂慮。

正如 OpenAI 聯合創始人、前特斯拉人工智能和視覺總監 Andrej Karpathy 在題爲“Self-driving as a case study for AGI”的最新博客中寫到的：“不幸的是，很多討論都相當抽象，導致人們在這個話題上繞圈子，無法達成共識。”

Karpathy 以自動駕駛爲例，談到了個人對 AGI 未來形態的看法，認爲“自動駕駛能力方面的發展是研究 AGI 的一個很好的早期案例研究”。

核心觀點如下：

學術頭條在不改變原文大意的情況下，做了簡單的編譯。內容如下：

近期，隨着大型語言模型（LLMs）的發展，圍繞着通用人工智能（AGI）、其發展時間表以及可能的形態等話題，社會上出現了許多討論。這些討論有的充滿希望和樂觀，但也不乏對未來的憂慮和悲觀。不幸的是，很多討論都相當抽象，導致人們在這個話題上繞圈子，無法達成共識。因此，我一直在尋找具體的類比和歷史先例，從而以更實際的方式探討這個話題。特別是當被問及我個人對 AGI 未來形態的看法時，我傾向於以自動駕駛爲例進行說明。在這篇文章中，我將解釋這一點。

首先，讓我們看看 AGI 的一個常見定義：

AGI：一種可以在大多數有經濟價值的工作中超越人類能力的自主系統。

請注意，這個定義中有兩個具體要求。首先，它是一個完全自主的系統，即它能夠在極少或沒有人類監督的情況下獨立運作；其次，它能夠在大多數有經濟價值的工作中自主操作。爲了具體說明，我個人喜歡參考美國勞工統計局的職業指數。同時具備這兩種特性的系統，就是 AGI。

在這篇文章中，我想提出的觀點是，我們最近在自動駕駛能力方面的發展是一個很好的早期案例研究，可以說明自動化程度不斷提高所帶來的社會動力，進而說明 AGI 總體上會是什麼樣子。

我之所以這樣認爲，是因爲自動駕駛領域有一些特點，大致可以概括爲“這是一件大事”：自動駕駛對社會來說非常直觀和可見（想象一下街道上沒有司機的汽車！），從規模上看，它是經濟的一大組成部分，目前僱傭了大量的人力工作（想想 Uber/Lyft 的司機），而且駕駛是一個難以自動化的問題，但我們做到了（領先於經濟的許多其他領域），社會已經注意到並正在對此做出反應。當然，還有其他行業也經歷了巨大的自動化變革，但我個人對它們不太熟悉，或者它們在上述某些特點上有所不足。

在人工智能領域，自動駕駛被認爲是一個“足夠複雜”的問題，它不是憑空出現的；它是一個將駕駛任務自動化的漸進過程，中間有許多“工具人工智能”的結果。

在汽車自動駕駛方面，許多汽車現在都配備了“二級”駕駛輔助系統——一種與人類協作，共同完成從 A 點到 B 點行駛任務的人工智能。這種系統並非完全自動化，但可以處理很多低級別的駕駛細節。有時，它甚至能自動完成整個操作（比如，爲你停車）。人類主要作爲這一活動的監督者，但原則上隨時可以接管駕駛任務，或下達高層次指令（比如，請求換道）。在某些情況下（比如，跟隨車道和快速決策），人工智能的表現超過了人類，但在罕見的場景中仍然可能不如人類。這與我們開始在其他行業部署的許多工具型人工智能類似，尤其是隨着大型語言模型的能力不斷提升。例如，作爲一名程序員，當我使用 GitHub Copilot 自動完成一段代碼，或用 GPT-4 編寫更大的 function 時，我將低級細節交給了自動化系統，但同時，我也可以在需要時進行“干預”。也就是說，Copilot 和 GPT-4 就是“二級”編程自動化。在整個行業中有許多此類二級自動化，它們並非都基於 LLMs——從 TurboTax 到亞馬遜倉庫裡的機器人，再到翻譯、寫作、藝術、法律、市場等領域的許多其他“工具型人工智能”。

在自動化技術的發展中，有些系統達到了足夠的可靠性，變得像今天的 Waymo 一樣。它們逐漸進入了完全自主的領域。如今在舊金山，你可以打開一個應用程序，呼叫 Waymo 而不是 Uber。一輛無人駕駛的汽車就會來接你，把你這位付費乘客帶到目的地。這真的很驚人。你不需要懂得開車，也不必保持注意力集中，你可以放鬆地躺下小睡一會，而系統會安全地把你從 A 點送到 B 點。和我交談過的許多人一樣，我個人更喜歡乘坐 Waymo 而不是 Uber，並且幾乎完全轉用 Waymo 來進行市內交通。你會得到一個更加穩定、可重複的體驗，駕駛很平穩，可以播放音樂，還可以和朋友聊天，而不用花費腦力去思考司機在聽你說話時在想什麼。

然而，即使現在已經有了自動駕駛技術，但仍有許多人選擇叫 Uber 而不是 Waymo。原因是什麼？首先，許多人根本不知道他們可以叫 Waymo。即便知道，他們也可能還不完全信任自動化系統，更願意由人類駕駛。此外，有些人可能就是喜歡與人類司機交談、開玩笑，享受與他人的互動。除了個人偏好外，從目前應用程序中等待時間不斷增加的情況來看，Waymo 明顯供不應求。沒有足夠的汽車來滿足需求。這部分原因可能是 Waymo 正在謹慎管理和監控風險及公衆輿論。另一個可能的原因是，Waymo 有一個來自監管機構的配額，即他們被允許在街道上部署多少輛車。此外，Waymo 也不能一夜之間就完全取代 Uber。他們需要建設基礎設施、生產車輛、擴大運營規模。我認爲，其他經濟領域的各種自動化也會呈現類似的情況——有些人或公司會立即使用它們，但許多人 1) 對它們一無所知，2) 即使知道，也不信任它們，3) 即使信任，仍然更願意僱傭和與人類合作。除此之外，需求超過供應，而 AGI 在這些方面也會受到相同的限制，原因也完全一樣——開發者的自我限制、監管限制，以及簡單直接的資源短缺（如需要建設更多的 GPU 數據中心）。

正如我前面提到的資源限制，在全世界範圍內推廣這項技術仍然非常昂貴、勞力密集，且進展緩慢。如今，Waymo 只能在舊金山和鳳凰城運行，但其方法本質上是通用且可擴展的，因此可能很快就會擴展到洛杉磯、奧斯汀等地。產品的推廣也可能受到其他環境因素的限制，比如在大雪中行駛。在一些罕見的情況下，可能甚至需要人類操作員的救援。能力的擴展並非“免費”的。例如，Waymo 要進入一個新城市，就必須耗費資源。他們必須確定地位，繪製街道地圖，調整感知和規劃/控制系統，從而適應一些獨特情況，或當地的規則和法規。在我們的工作類比中，許多工作可能只在某些環境或條件下實現完全自動化，而擴大覆蓋範圍需要工作和努力。在這兩種情況下，方法本身是通用且可擴展的，前沿也會擴展，但只能隨着時間的推移逐步實現。

另一個讓我覺得有趣的方面是，就在幾年前，到處都是關於“它會成功嗎”“它不會成功嗎”的評論和 FUD（恐懼、不確定和猶豫），人們還在爭論它是否可能。而現在，自動駕駛真的出現了，它不再是研究原型，而是一種產品——我可以用金錢換取全自動交通服務。在目前的運行範圍內，該行業已實現了完全自主。然而，總的來說，幾乎沒人關心這一點。我交談的大多數人（即使是科技行業的人！）甚至都不知道這一變化。當你乘坐 Waymo 在舊金山街頭行駛時，你會看到許多人將其視爲一種奇特的東西。他們先是驚訝，然後一直盯着看，然後繼續他們的生活。當全自動化在其他行業引入時，也許世界並不會因此掀起風暴。大多數人可能一開始甚至都沒有意識到這一點。當他們意識到時，可能會瞥一眼然後聳聳肩，這種反應從否認到接受不等。一些人對此則感到非常不安，在 Waymo 前放置錐形物進行抗議。當然，這方面的影響還遠未完全顯現，但當它發生時，我預計這將是一個廣泛的預示。

讓我們來談談自動化對工作的影響。顯然，Waymo 代替了司機的職位，但它也創造了許多之前不存在且不太顯眼的工作——如協助收集神經網絡訓練數據的人工標註員、在車輛遇到問題時遠程連接支援的客服人員、建造和維護車隊、地圖等的工作人員。爲了組裝這些高度智能化的高科技汽車，首先要創建一個由各種傳感器和相關基礎設施組成的全新產業。同樣的，在更廣泛的工作領域中，許多工作將發生變化，一些工作會消失，但也會出現許多新的工作機會。這更多的是工作的重構而不是直接刪除，即使這種刪除是最顯著的部分。很難說總體的工作數量不會在某個時點和隨時間而減少，但這種情況的發生速度要比天真地看待這種情況的人想象的慢得多。

我想考慮的最後一個方面是競爭格局。幾年前，自動駕駛汽車公司數量衆多。然而，由於這個領域的難度極大（我認爲在當前的人工智能和計算技術水平下，實現自動化“僅僅是可能的”），如今，這個生態系統已經顯著整合。Waymo 已經實現了自動駕駛未來的第一個功能完備展示。儘管如此，還有一些公司在追趕，包括 Cruise、Zoox，當然還有我個人最喜歡的 Tesla。鑑於我在這個領域的實際經歷和參與情況，我在這裡簡要說明一下。我認爲，自動駕駛行業的最終目標是在全球範圍內實現完全自動駕駛。Waymo 採取的策略是首先實現自主性，然後在全球範圍內擴展，而 Tesla 則是首先在全球範圍內推廣，然後逐步實現自主性。如今，我是這兩家公司產品的忠實用戶，就我個人而言，我更支持整體技術。然而，這兩家公司中，一家還有大量的軟件工作要做，另一家則有大量的硬件工作要做。我對哪一家發展得更快有自己的判斷。話雖如此，正如許多其他經濟領域可能經歷的那樣，經歷了一段快速增長和擴張的時期（想想大約 2015 年的自動駕駛時代），但如果這個類比成立的話，最終只會有少數幾家公司在激烈競爭中脫穎而出。在這一切中，將會有許多活躍使用的工具型人工智能（比如今天的二級 ADAS 功能），甚至一些開放平臺（比如 Comma）。

以上，就是我認爲的 AGI 的大致輪廓。現在，只需在腦海中將其複製粘貼到整個經濟中，以不同的速度發生，併產生各種難以預測的相互作用和二階效應。雖然這個模型可能無法做到完美無缺，但我相信它是一個有用的思考工具。從某種角度來看，它不像一個自我遞歸改進的超級智能體，能夠逃脫我們的控制，進入網絡空間製造致命的病原體或納米機器人，把整個銀河系變成灰色的粘稠物。相反，它更像是自動駕駛這樣的技術，它的進展是逐步的，社會既是觀察者也是參與者，其擴展受到多種因素的限制，包括監管和受過教育的勞動力資源、信息、材料和能源。世界不會因此崩潰，而是會適應、改變和重構。以自動駕駛爲例，交通的自動化將使其更加安全，城市將變得更加清潔、通暢，停車場和路邊停放的汽車將逐漸消失，爲人們騰出更多空間。我個人非常期待 AGI 在各個領域所帶來的類似變革。

https://karpathy.github.io/2024/01/21/selfdriving-agi/