【強薦】OpenAI大神首席科學家Ilya 最新11月長篇訪談全文版

前言：

今日，OpenAI大神，聯合創始人兼首席科學家Ilya的最新訪談視頻發佈。這是很久以來Ilya再次出來做了長篇訪談，和之前一些短暫露面裡的惜字如金不同，Ilya在這個訪談裡乾貨滿滿，涉及了AI研究的最新進展以及OpenAI的策略等等。

（喜歡看訪談全長中字視頻的同學請關注“Web3天空之城”B站號，即將發佈）

以下是城主摘的部分Highlight：

神經網絡的訓練過程幾乎可以看作是求解神經方程，其中每個數據點都是一個方程，每個參數都是一個變量。

OpenAI從一開始的目標就是確保通用人工智能，即能夠真正完成人類所做的大部分工作、活動和任務的人工智能，造福全人類。OpenAI的目標並沒有隨着時間的推移而演變，戰術卻隨着時間的推移而演變。

在某些時候，我們意識到如果你訓練一個大型神經網絡，一個非常非常大的Transformer來越來越好地預測文本，就會發生一些非常令人驚訝的事情。這個認識也是一點點慢慢到來的。

對我個人而言，最大的覺醒時刻是從GPT-2過渡到GPT-3，這一步驟中的功能和能力的提升是巨大的。

我想也許最令人驚訝的是，最令人驚訝的是，如果我必須選擇一個，那就是當我與之交談時，我感到被理解了。

我們有一些自上而下的想法，我們認爲應該可行，但我們並不能 100% 確定。所以我們需要有好的自上而下的想法。在這些自上而下的想法的指導下，也有很多自下而上的探索。它們的結合告訴我們下一步該做什麼。

事情正在發生的（最）重大變化無疑是這些模型變得越來越可靠。可靠性的意思是當你提出的問題並不比模型成功解決的其他問題難多少時，你就非常有信心它將繼續取得成功。

7B，13B等規模的模型研究並不是浪費，大模型會比小模型更好，但並非所有應用程序都能證明大模型的成本是合理的。

完成一些大型而複雜的任務的模型如果是開源的，它們將產生難以預測的後果。

總有一天，你會擁有可以自主進行科學研究的模型，比如構建、交付大型科學項目。至於這種能力的模型是否應該開源就變得更加複雜。

我們有人工神經元、生物神經元、生物智能的統一大腦架構、人工智能的統一神經網絡架構。那麼，我們應該何時開始將這些系統視爲數字生活呢？我認爲，當這些系統變得可靠且高度自治時，這種情況就會發生。

我們將擁有比人類聰明得多的計算機、數據中心，這似乎一點也不令人難以置信。我所說的“更聰明”並不是指擁有更多的記憶力或擁有更多的知識，而是指對我們正在研究和研究的同一主題有更深入的瞭解。這意味着比人學得更快。

我希望任何這種超級智能的實例都能對人類產生溫暖的感情。這就是我們正在做的超級對齊項目。親和人類社會的人工智能，這是我們的目標。

=以下是本次Ilya訪談的天空之城文字整理版=

主持人：

OpenAI，這是一家我們現在都熟知的公司，然而一年前，它只有100名員工，卻正在改變世界。他們的研究正在引領通用人工智能的發展。自去年11月ChatGPT吸引了消費者的關注以來，他們的發展勢頭並未有任何放緩的跡象。本週，我們有幸與OpenAI的聯合創始人兼首席科學家Ilya Sutskever進行了深入的交談，我們討論了人工智能研究的現狀、我們將在哪些方面達到極限、通用人工智能的未來，以及如何實現超級一致性。

伊利亞，歡迎來到播客。

非常高興來到這裡。

Ilya自己在深度學習領域的研究經歷

主持人：

我們從最初的深度學習開始討論。在AlexNet出現之前，深度學習中沒有任何東西真正有效。然後考慮到當時的環境，你們下了一個非常獨特的賭注。是什麼促使你朝這個方向發展？

Ilya：

在那個黑暗時代，人工智能並不是一個人們抱有希望的領域，人們根本不習慣任何形式的成功。由於沒有取得任何成功，因此引發了很多爭論，不同的思想流派對機器學習和人工智能應該如何發展有不同的爭論。有人熱衷於老式人工智能的知識表示。有些人是貝葉斯主義者，他們喜歡貝葉斯非參數方法。有人喜歡圖形模型，有人喜歡神經網絡。這些人被邊緣化，因爲神經網絡不具備無法證明關於他們的數學定理的特性。如果你不能證明某件事的定理，那就意味着你的研究不好。

但是，我從一開始就被神經網絡所吸引，因爲我覺得這些都是小大腦，誰在乎你是否能證明關於它們的任何定理，因爲我們正在訓練小大腦，也許它們會變成，也許它們有一天會做某事。

我們之所以能夠做到AlexNet，是兩三個因素的結合。第一個因素是，這是在GPU開始用於機器學習之後不久。人們有一種直覺，認爲這是一件好事，但當時人們並不像今天那樣確切地知道GPU的用途。他們想，讓我們玩一下那些又酷又快的計算機，看看我們能用它們做什麼。它特別適合神經網絡。所以這絕對對他們有幫助。

我非常幸運，因爲意識到神經網絡的原因是因爲它們太小了。就像如果你嘗試用神經網絡解決視覺任務一樣，它有大約一千個神經元，它能做什麼？它什麼也做不了。你的學習有多好以及其他一切並不重要。但如果你有一個更大的神經網絡，它將做出前所未有的事情。

主持人：

是什麼讓你有這樣的直覺？

我認爲當時認爲儘管你的觀點是這樣的，但很多人腦在某種意義上都是以這種方式或不同的生物神經迴路工作的，這是相當逆向的。但我只是很好奇，是什麼讓你很早就有直覺認爲這是一個好的方向？

Ilya：

看看大腦，特別是那裡，如果你喜歡的話，所有這些事情都會很容易發生。如果你允許自己，如果你現在允許自己接受這個想法，那麼這個想法就會被很好地接受。

當時人們還在談論它，但他們還沒有真正接受它或內化這樣的想法：也許人工神經元在某種意義上與生物神經元沒有什麼不同。所以現在無論你想象動物用大腦做什麼，你也許都可以組裝一些。類似大小的人工神經網絡。也許如果你訓練它，它也會做類似的事情。所以這就導致了這一點。

這會讓你開始想象，好吧，就像想象神經網絡正在完成的計算一樣。你幾乎可以想象，如果你有一張高分辨率圖像，並且你有一個神經元來處理一大組像素，那麼神經元能做什麼？如果你有很多神經元，那麼它們實際上可以做一些事情並計算一些東西。因此，我認爲這是一種基於深思熟慮的觀點和技術實現的結合。

技術實現的關鍵在於，如果你有一個大型訓練集來指導神經網絡的行爲，且訓練集足夠大，那麼你就能有效地約束大型神經網絡。此外，如果你找到了訓練神經網絡的算法，那麼我們所做的就是將訓練集轉化爲滿足訓練集要求的神經網絡。神經網絡的訓練過程幾乎可以看作是求解神經方程，其中每個數據點都是一個方程，每個參數都是一個變量。因此，這是一個多方面的問題。我們需要意識到，更大的神經網絡可以實現一些前所未有的功能。

如果你有一個大型數據集和計算能力來求解神經方程，那麼這就是梯度下降，但它並不僅僅是梯度下降。梯度下降的方法已經存在很長時間了，關鍵在於如何運用一些技術見解來使其發揮作用。因爲在過去，人們普遍認爲，你無法訓練這些神經網絡，這是一種絕望的情況。所以這不僅僅是尺寸的問題。即使有人確實認爲訓練一個大型神經網絡會很酷，他們也沒有技術能力將這個想法變成現實。你不僅需要對神經網絡進行編碼，還需要正確地完成許多其他事情，只有這樣，它纔會起作用。

另一個幸運的事情是我與Alex Krizhevsky一起工作，他非常喜歡GPU，並且可能是第一個真正掌握爲GPU編寫高性能代碼的人之一。這就是爲什麼我們能夠從兩個GPU中提取出大量的性能，做出一些前所未有的成果。

總的來說，這是一個複雜的過程。一個大型神經網絡，特別是一個具有多層的卷積神經網絡，比我們以前做過的任何事情都要大，可以做出一些前所未有的事情。因爲大腦本身就是一個巨大的神經網絡，我們可以快速地看到事物，所以我們的神經元沒有太多的時間。然後，我們需要計算和技術知識，實際上我們可以訓練這樣的神經網絡。但這並沒有廣泛傳播，大多數機器學習領域的人無法訓練這樣的神經網絡，即使他們願意。

主持人：

從尺寸的角度來看，你們有什麼特定的目標嗎？或者，這是否是受生物學啓發的，或者這個數字來自哪裡，或者是我們能達到的最大目標？

Ilya：

（目標）絕對是我們能做到的最大規模，因爲請記住，我們有一定數量的計算資源，我們可以有用地使用這些資源，然後看看它能做什麼。

OpenAI研究目標和思路的演變

主持人：

如果我們像思考OpenAI的起源和組織目標一樣，最初的目標是什麼？隨着時間的推移，這個目標是如何演變的？

Ilya：

目標並沒有隨着時間的推移而演變，戰術卻隨着時間的推移而演變。

因此，OpenAI從一開始的目標就是確保通用人工智能（我們指的是自主系統），即能夠真正完成人類所做的大部分工作、活動和任務的人工智能，造福全人類。這就是從一開始的目標。最初的想法是，也許最好的方法就是開源大量技術。後來我們也嘗試將其作爲非營利組織來做，這似乎非常明智。這就是目標。非營利組織就是這樣做的方法。

那麼，發生了什麼變化呢？在OpenAI的某個時刻，我們意識到，而且我們可能是最早意識到要在人工智能領域取得真正進展的人之一，你需要大量的計算。現在很多意味着什麼？正如現在所清楚看到的那樣，對計算的需求確實是無窮無盡的，但我們意識到我們需要很多。非營利組織不是實現這一目標的途徑，也無法與非營利組織一起建立一個大型集羣。

這就是我們的目標，我們轉變爲這種不尋常的結構，稱爲CapProfit。據我所知，我們是世界上唯一一家CapProfit公司，但我們的想法就是這樣。投資者投入了一些資金，但即使公司表現出色，他們也只能在原始投資的基礎上獲得一定的乘數。原因和合理性在於，我們正在開發的技術，人工通用智能（AGI），可能具備完成人類所有任務的能力。

這引發了一個爭議性的問題：這是否意味着所有人都可能因此失業？我不能確定，但這並非不可能。如果這是真的，那麼這種觀點就有其合理性。如果開發這種技術的公司不能無限創造利潤，而是以創造無限利潤爲激勵，那麼這種觀點就更有意義。然而，我並不確定在人工智能的競爭環境下，事情是否真的會這樣發展。這可能會導致多家公司的出現，這對我所提出的觀點可能會產生一些不可預見的影響，但這仍然是我的看法。

主持人：

我記得在Y Combinator等地方，我曾經參觀過辦公室，甚至在那裡共享過一些空間。當時有一系列不同的努力正在進行，包括正在被操縱的機械臂，以及一些與視頻遊戲相關的工作，這些都是最前沿的技術。那麼，研究議程的演變以及推動其沿着基於Transformer模型和其他形式學習的道路發展的因素是如何看待的呢？

Ilya：

自從我們創立OpenAI以來，我們的想法一直在演變。

在創立的第一年，我們做了一些相對傳統的機器學習工作。我之所以稱之爲傳統，是因爲世界已經發生了巨大的變化，許多在2016年或2017年大家都知道的事情已經完全被遺忘。那個時代幾乎就像石器時代一樣。在那個時代，機器學習的世界看起來非常不同，它更加學術化，目標、價值觀和目的也更加學術化。他們的目標是發現少量知識並與其他研究人員分享，最終獲得科學認可。這是一個非常有效的目標，也是非常容易理解的。我從事人工智能已經20年了，我花在人工智能上的時間有一半以上都花在這個框架上。

然而，我意識到這並不是產生巨大影響的方法。因爲如果你想象AGI應該是什麼樣子，它一定是某種使用大量計算的大型工程項目，對嗎？即使你不知道如何構建它，你也知道這是你想要努力實現的理想。因此，你希望以某種方式轉向更大的項目，而不是小項目。因此，當我們嘗試第一個大型項目時，我們訓練了一個神經網絡來玩實時策略遊戲以及最好的人類遊戲。這是Dota 2項目，由Jakub Pachocki和Greg Brockman兩個人推動。他們成功地推動了這個項目。這是我們第一次嘗試大型項目。但這對我們來說並不是完全正確的公式，因爲神經網絡有點太小了。這只是一個狹窄的領域，只是一個遊戲。

我們一直在尋找。在某些時候，我們意識到，嘿，如果你訓練一個大型神經網絡，一個非常非常大的Transformer來越來越好地預測文本，就會發生一些非常令人驚訝的事情。這個認識也是一點點慢慢到來的。我們正在探索生成模型。我們正在探索有關下一個單詞預測的想法。這些想法也與壓縮有關。我們正在探索它們。

Transformer出來了。我們真的很興奮。我們當時想，這是最偉大的事情。我們現在要做Transformer。它顯然比之前的任何東西都要優越。我們開始做Transformer。我們做了GPT-1。GPT-1開始顯示出非常有趣的生命跡象。這導致我們開發了GPT-2。然後最終是GPT-3。GPT-3的出現確實令許多人大爲震驚，這項技術的吸引力無疑是巨大的。目前，每個人都在嘗試一個特定的公式，即在越來越多的數據上訓練一個越來越大的Transformer。

對我個人而言，最大的覺醒時刻是從GPT-2過渡到GPT-3，這一步驟中的功能和能力的提升是巨大的。然後，OpenAI發佈了一些非常有趣的文章，圍繞着不同的知識領域、專業領域、思想鏈或模型，研究了一些可以突然以緊急形式完成的其他事情。

隨着時間的推移，這些模型中的突發行爲對我來說最令人驚訝的是什麼？這個問題很難回答，因爲我離它太近了，我已經看到了它每一步的進展。儘管我很願意，但我發現很難回答這個問題。如果我必須選擇一個，我想對我來說最令人驚訝的事情可能是整個事情完全有效。這很難。我不確定我知道如何表達我在這裡的想法，因爲如果你看到很多神經網絡做了令人驚奇的事情，那麼，顯然神經網絡是有效的。但多年來我親眼目睹了神經網絡根本不起作用的世界是什麼樣子。然後將其與我們今天的情況進行對比，事實是他們在工作並且做了這些令人驚奇的事情。我想也許最令人驚訝的是，最令人驚訝的是，如果我必須選擇一個，那就是當我與之交談時，我感到被理解了。

主持人：

有一句非常好的說法，我正在努力記住，也許是亞瑟·克拉克或一位科幻作家，這實際上是說，先進技術有時是這樣。和魔法沒有區別。

Ilya：

我完全贊同這個觀點。現在確實感覺其中一些模型有一些神奇的時刻。

OpenAI內部選擇項目的方法

主持人：

鑑於你們可以追求的所有不同能力，你們有沒有一種內部決定的方法，如何不斷地選擇一組大型項目？您已經描述過，集中化和大規模致力於某些研究方向對於OpenAI的成功非常重要。鑑於現在的機會廣泛，決定什麼值得做的過程是什麼？

Ilya：

我認爲存在着自下而上和自上而下的結合，我們有一些自上而下的想法，我們認爲應該可行，但我們並不能 100% 確定。所以我們需要有好的自上而下的想法。在這些自上而下的想法的指導下，也有很多自下而上的探索。它們的結合告訴我們下一步該做什麼。

主持人：

顯然，我們有這個占主導地位的、持續擴大規模的Transformer方向。您是否探索其他架構方向，或者這只是不相關的？

Ilya：

當然有可能找到各種改進。我認爲改進可以在各種地方找到，無論是小的改進還是大的改進。我認爲思考這個問題的方式是在當前正在做的事情的同時。隨着您不斷增加投入的計算量和數據量，它會變得越來越好。所以我們有這個資產。你做得越大，它就越好。當你不斷改進、不斷擴大規模時，不同的事情會以不同的程度變得更好，這也是一個特性。因此，當然，不僅您想要擴大您正在做的事情，我們也希望繼續擴大盡可能最好的事情。

可靠性：當代大模型最重要的改進

主持人：

你可能不需要預測，因爲你可以在內部看到，你認爲從能力的角度來看，當前這一代規模的改進最大的是什麼？

Ilya：

對我來說，回答這個問題的最好方法是指出公開可用的模型。您可以看到今年與去年的比較。而且差異相當顯著。我不是在談論之間的區別，不僅僅是之間的區別，假設您可以看看 GPT-3 和 GPT-3.5 之間的區別，然後看看 ChatGPT、ChatGPT-4、ChatGPT-4 與 Vision 之間的區別。你可以親自看看。

人們很容易忘記事情曾經在哪裡，但事情正在發生的重大變化無疑是這些模型變得越來越可靠。在他們達到現在的高度之前，他們只是部分存在。雖然大部分已經存在，但仍有一些差距。未來，這些模型可能會更加豐富。你可以信任他們給出的答案，他們會變得更加可靠，能夠全面完成更多任務。他們還將具備更深入的洞察力。當我們訓練他們時，他們對人類世界的理解會越來越深入，洞察力也會隨之增強。

主持人：

我想問的是，隨着時間的推移，這與模型規模有何關係？因爲許多人對超大規模模型的能力和理解世界的新行爲感到震驚。同時，當人們將一些元素融入產品中（這是一種非常不同的路徑）時，他們常常開始擔心推理成本會隨着模型規模的擴大而增加。因此，他們正在尋找經過微調的較小模型。但當然，你可能會失去一些洞察力和推理能力。所以我很好奇你對未來幾年這一切將如何發展的看法。

Ilya：

實際上，我想指出的是，當你切換到較小的模型時，主要失去的是可靠性。我認爲，可靠性是這些模型真正有用的最大瓶頸。

主持人：

你如何定義可靠性？

Ilya：

就像當你提出的問題並不比模型成功解決的其他問題難多少時，你就非常有信心它將繼續取得成功。

例如，假設我想了解一些歷史事物。我可以問，告訴我關於這個和那個的普遍看法是什麼？我可以繼續提問。假設它正確回答了我的20個問題，我真的不希望第21個問題出現嚴重錯誤。這就是我所說的可靠性。或者，假設我上傳一些文件，一些財務文件。假設他們說了一句話，我想做一些分析，做出一些結論，我想在這個基礎上、這個結論上採取行動。這並不是一項超級艱鉅的任務。而模型，這些模型顯然在大多數情況下都能成功完成這項任務，但因爲它們並非總是成功。如果這是一個重要的決定，我實際上任何時候都不能相信這個模型。我必須以某種方式驗證答案。這就是我對可靠性的定義。

這和自動駕駛的情況很相似。如果你有一輛自動駕駛汽車，而且它的表現大部分都很好，那還不夠好。情況並不像自動駕駛汽車那麼極端，但這就是我所說的可靠性。

參數規模：大模型 vs 小模型

主持人：

我對可靠性的看法是，就您的觀點而言，它會隨着模型規模的增加而增加，而且如果您針對特定用例或實例或數據集進行微調，它也會增加。因此，在尺寸與專業微調與可靠性方面存在權衡。

Ilya：

關心某些特定應用的人們肯定有充分的動機讓最小的模型足夠好地工作。我認爲這是真的。這是不可否認的。我認爲任何關心特定應用程序的人都會想要最小的模型。這是不言而喻的。我確實認爲，隨着模型不斷變得更大、更好，它們就會解鎖新的和前所未有的有價值的應用程序。所以，是的，小型模型將在不太有趣的應用中佔有一席之地，但它們仍然非常有用。然後更大的模型將交付應用程序。

例如，考慮提供良好法律建議的任務。如果你能真正相信答案，那真的很有價值。也許您需要一個更大的模型，但它證明了成本的合理性。

主持人

今年，尤其是7b（70億參數）尺寸的投資非常多，而且還有7b、13b、34b尺寸。您認爲在這些規模上繼續研究是浪費嗎？

Ilya：

不，當然不。我認爲從中期來看，無論如何，按照人工智能的時間尺度，將會出現這種情況。在一個生態系統中，不同的模型大小會有不同的用途。對於很多人來說，最好的7b模型已經足夠好了，他們會感到非常興奮。他們將對此感到極度欣喜。接下來，我們將看到大量令人興奮和驚奇的應用程序，但這還遠遠不夠。我想，這就是我想說的全部。我認爲大模型會比小模型更好，但並非所有應用程序都能證明大模型的成本是合理的。

關於AI開源

主持人：

你認爲開源在這個生態系統中扮演什麼角色？

Ilya：

開源是一個複雜的問題。我將向你描述我的思考過程。我認爲在短期內，開源只是幫助公司生產有用的產品……讓我們來看看。爲什麼人們想要開源，選擇使用開源模型而不是由其他公司託管的閉源模型？我認爲，想要成爲你希望使用模型的方式的最終決策者，並決定你希望如何使用模型以及哪種用例，這是非常有效的你希望支持的。

我認爲對開源模型的需求將會很大。我認爲會有相當多的公司會使用它們。我想短期內也會出現這種情況。我想說，從長遠來看，我認爲開源模型的情況會變得更加複雜。我不確定正確的答案是什麼。現在看來，有點難以想象。

所以我們需要戴上未來的帽子，也許是未來主義的帽子。當你記得我們正在與計算機交談並且它們理解我們時，進入科幻模式並不難。但到目前爲止，這些計算機、這些模型實際上還不是很能幹。他們根本無法完成任務。我確實認爲有一天模型的能力水平將會非常高。就像歸根結底，智慧就是力量。目前，這些模型的主要影響，我想說，至少流行的影響主要是圍繞娛樂和簡單的問題。所以你和Model談論這件事真是太酷了。你產生一些圖像。你們進行了交談。也許您有一些可以回答的問題。

但這與完成一些大型而複雜的任務有很大不同。如果你有一個可以自主創辦和建立一家大型科技公司的模型呢？我認爲如果這些模型是開源的，它們將產生難以預測的後果。就像我們現在離這些模型還很遠一樣。到目前爲止，我的意思是眼睛時間尺度，但這仍然不是你所說的。但總有一天，你會擁有可以自主進行科學研究的模型，比如構建、交付大型科學項目。至於這種能力的模型是否應該開源就變得更加複雜。

我認爲與目前非常有用的水平模型相比，這裡的論點不那麼明確、不那麼直接。我認爲當前模型的建立真是太棒了。因此，也許我回答了一個稍微大一點的問題，而不是開源模型的作用是什麼？開源有什麼關係？交易是在具備一定能力之後，這很棒，但不難想象足夠強大的模型，這些模型將在變得不那麼明顯的地方構建。這是開源的好處。

主持人：

有沒有向您發出信號表明我們已經達到或正在接近這個水平？比如邊界是什麼？

Ilya：

所以我認爲很好地弄清楚這個邊界是一個緊迫的研究項目。我認爲有幫助的事情之一是閉源模型比開源模型更強大。所以可以研究閉源模型等等。所以你會對一代閉源模型有一些經驗。然後，然後，哦，這些模型的功能，很好。那裡沒什麼大不了的。然後幾年後，開源模型迎頭趕上，也許有一天我們會說，好吧，就像這些閉源模型一樣，它們變得有點太激烈了，然後需要一些其他方法。

主持人：

如果我們展望未來，也許讓我們考慮一下幾年的時間表。您認爲短期內擴展的限制是什麼（如果有）？是數據、Token稀缺、計算成本、架構問題嗎？

Ilya：

因此，近期對擴展的限制顯然是數據。這是衆所周知的。需要進行一些研究來解決這個問題。不詳細說明，我只想說數據限制是可以克服的。並且進步將會繼續。

人工智能和生物智能

主持人：

我聽到人們爭論的一個問題是基於Transformer的模型可以在多大程度上應用於 AGI 所需的全套領域。例如，如果你觀察人類的大腦，你就會發現，你的大腦確實相當專業化。系統或所有神經網絡通過專門的視覺皮層系統與更高層次的思考領域、同理心領域或從個性到處理的所有其他方面相互連接。

您是否認爲Transformer架構是持續發展並幫助我們實現這一目標的主要因素？或者，您是否認爲隨着時間的推移，我們可能需要其他架構？

Ilya：

我完全理解您的觀點，並對此有兩個答案。我認爲，最佳的方式是思考架構問題，而不是以二進制的形式。然而，使用這種特定架構需要付出多少努力，成本又是多少？我認爲，儘管沒有人懷疑Transformer架構能做出一些驚人的事情，但也許還有其他的東西，也許一些修改可以帶來一些計算效率的好處。因此，我們最好從計算效率的角度來考慮這個問題。至於這個架構能否達到我們的目標，我認爲答案顯然是肯定的。

那麼，對於人類大腦及其大腦區域又如何呢？我認爲那裡的情況是微妙且具有欺騙性的。人類大腦有已知的區域，包括言語感知區域、語音產生區域、圖像區域、面部區域等。這些看起來很專業，但有趣的是，有時候，一些在很小的時候就患有嚴重癲癇症的孩子，他們的治療方法是切除他們的一半大腦。由於這種情況發生在他們很小的時候，這些孩子長大後就會成爲非常有能力的成年人。他們的大腦區域雖然被壓縮到一個半球上，但所有這些大腦區域都以某種方式重新排列了自己。

另一個實驗是在30或40年前對雪貂進行的。他們取出了雪貂的視神經，並將其連接到聽覺皮層。經過幾天的學習觀察，他們發現聽覺皮層中的神經元與視覺皮層非常相似。這進一步支持了一個觀點，即我們只需要一個大的統一架構。這就是我們所需要的。每個生物系統都相當懶惰地採用一個系統，然後複製它，然後以不同的方式重複使用它。這也適用於數字世界，具體取決於您使用的架構。

我認爲這是從技術角度來看的一個跡象，我們走在正確的軌道上，因爲人類智能、生物智能和人工智能之間有所有這些有趣的類比。我們有人工神經元、生物神經元、生物智能的統一大腦架構、人工智能的統一神經網絡架構。那麼，我們應該何時開始將這些系統視爲數字生活呢？我認爲，當這些系統變得可靠且高度自治時，這種情況就會發生。目前，這些系統顯然還不是自治的。他們正在緩慢地前進，但事實並非如此。這也使得它們的用處大大降低，因爲你不能要求它們，比如做我的作業或做我的稅。因此，其應用受到了很大的限制。隨着其實用性的增加，它們確實會變得更像人造生命，我認爲這也使其變得更加令人恐懼，不是嗎？如果你想象一下真正的人造生命，其大腦比人類更聰明，那麼，天哪，這看起來相當具有紀念意義。

主持人：

爲什麼你的定義是基於自治呢？因爲如果你經常查看生物生命的定義，你會發現它與生殖能力有關，我認爲這應該加上某種形式的自主權。就像病毒在很多時候並不一定被認爲是活的一樣，但細菌是。你可以想象這樣的情況：你有共生關係，或者其他東西，有些東西不能真正自主地發揮作用，但它仍然被認爲是一種生命形式。所以我有點好奇自治的定義與其他一些方面的關係。

Ilya：

選擇定義是爲了我們的方便，這是一個有爭議的問題。

在我看來，技術已經具備了繁殖、再生產的功能。例如，如果你看一下過去25年裡手機和智能手機演變的那些圖像，你會看到幾乎看起來像進化樹或上個世紀的汽車。因此，技術已經在利用複製上一代技術思想的人們的思維進行復制。所以我聲稱複製品已經存在。我聲稱的自治部分不是。

事實上，我也同意不存在自主繁殖，但這將是你能想象如果你有自主複製的人工智能嗎？事實上，我認爲這是一個相當痛苦的事情，如果你有一個能夠自主複製的人工智能，如果它也非常有能力的話，我會說這是一件非常可怕的事情。

超級對齊

主持人：

我們應該談論超級對齊嗎？

Ilya：是的，非常如此。

主持人：

你能簡單地定義一下嗎？然後，當您覺得我們需要開始擔心這些開源功能時，我們討論了邊界是什麼。什麼是超級對齊以及爲什麼現在投資它？

Ilya：

你問題的答案實際上取決於你認爲人工智能的發展方向。如果你只是嘗試想象並展望未來，這當然是一件非常困難的事情，但無論如何我們都要嘗試去做。我們認爲五年或十年後情況會怎樣？過去幾年的進展確實令人驚歎。也許會慢一點，但如果你推斷這種進展，五年後我們將處於一個非常非常不同的境地，更不用說十年了。

這似乎並非難以置信。我們將擁有比人類聰明得多的計算機、數據中心，這似乎一點也不令人難以置信。我所說的“更聰明”並不是指擁有更多的記憶力或擁有更多的知識，而是指對我們正在研究和研究的同一主題有更深入的瞭解。這意味着比人學得更快。這樣的人工智能能做什麼？我不知道。當然，如果這樣的人工智能是某種人造生命的基礎，那你會怎麼想呢？

從某種意義上說，如果您擁有一些非常強大且活躍的數據中心，那麼這就是您所談論的。當我想象這個世界時，我的反應是，天哪，這很難預測會發生什麼。非常不可預測。但最低限度，但有一個我們可以闡明的最低限度。如果真的建立了這樣的超級、非常非常智能、超級智能的數據中心，我們希望這些數據中心對人們抱有溫暖和積極的感情，走向人類。因爲從某種意義上來說，這將是非人類生命。可能，可能就是這樣。所以我希望任何這種超級智能的實例都能對人類產生溫暖的感情。這就是我們正在做的超級對齊項目。

我們說，嘿，如果你允許自己，如果你接受我們所看到的進展，也許會慢一些，但它會繼續下去。如果你允許自己這樣做，那麼你今天就可以開始進行富有成效的工作來建立科學。這樣我們就能夠處理控制未來超級智能的問題，給他們留下對人友善和友善的強烈願望。因爲這些數據中心真的非常強大。可能會有很多。世界將非常複雜，但不知何故，只要他們是自主的，只要他們是代理人，只要他們是存在，我希望他們是親社會的。親和人類社會的人工智能，這是我們的目標。

主持人：

實現這個目標的可能性有多大呢？有些結果，我們似乎有望影響，但是，我們是否可能擁有與我們單獨或作爲一個物種建立友誼的親社會人工智能呢？

Ilya：

我認爲，友誼部分並非必要，但我們確實希望擁有非常親社會的人工智能。我認爲這是可能的，雖然並非必然，但這種可能性將會增加。

隨着越來越多的人開始展望未來，展望五到十年的未來，他們開始思考，他們期望人工智能能夠做什麼？他們期望它的能力如何？我認爲，隨着時間的推移，如果人工智能確實在不斷改進，並且人們真正體驗到了它的改變，他們會發現，去年的人工智能相比今年的已經相形見絀。然後，年復一年，人工智能開始進行科學研究，人工智能軟件工程師的技術也變得越來越出色。我認爲，這會讓人們對未來的超級智能產生更多的期待，這種超級智能將非常親社會。

我認爲，這將引發很多分歧，也將引發很多政治問題。但我相信，隨着人們看到人工智能實際上變得更好，隨着人們體驗到它，對親社會超級智能的渴望，人類對超級智能的熱愛，以及它能做的事情將會不斷增加。在科學問題上，我認爲目前這仍然是一個沒有多少人致力於研究的領域。我們的人工智能已經變得足夠強大，我們可以真正開始有效地研究它。我們很快就會分享一些非常令人興奮的研究成果。

然而，我想說的是，這就是大局。實際上，我們需要回顧一下我們到目前爲止在人工智能方面的經歷。我們需要問自己，比如，發展速度是否在放緩？明年會放緩嗎？就像我們將會看到的那樣，我們會一次又一次地經歷這種情況。我認爲這種情況將會持續下去，而且我們需要做什麼將會變得越來越清晰。

走在AI加速的道路上

主持人：

你認爲我們只是走在加速的道路上嗎？因爲我認爲，從根本上來說，如果你觀察某些技術浪潮，它們傾向於彎曲，然後加速而不是減速。所以，我覺得我們現在正處於加速階段而不是減速階段。

Ilya：

我們現在確實處於加速階段。很難說，多種力量都會發揮作用。有些力是加速力，有些力是減速力。例如，成本和規模是一種減速力量。事實上，我們的數據是有限的，至少在某種程度上是一種減速力量。我不想誇大這一點。

主持人：

它有點像漸近線，就像在某個時刻你擊中了它，但這是標準的 S 曲線，對嗎？或者說是 S 形。

Ilya：

特別是對於數據，我只是認爲這不會成爲問題，因爲我們會找出其他東西。但你可能會說，工程項目的規模是一種減速力量，只是管理的複雜性而已。另一方面，投資量是加速力量。人們、工程師、科學家的興趣是一股加速力量。

我認爲還有另一種加速力量，那就是生物進化已經能夠解決這個問題的事實。事實上，到目前爲止，人工智能的進步已經達到了這一點，這種奇怪的特性，很難執行。但從某種意義上說，它或許也比人們想象的更簡單。

從某種意義上說，我對物理學瞭解不多，但我的理解是，如果你想在量子物理學或其他領域取得進展，你需要非常聰明，並在研究生院花很多年的時間研究這些東西是如何工作的。而對於人工智能，你需要人們進來，快速上手，快速開始做出貢獻。這種情況有些不同。

不知何故，對於這個特定的研究領域有很多投入。我認爲這也具有一種推動力。然而，具體的發展情況還需要進一步觀察。隨着可能以某種方式達到所需規模，工程的複雜性將開始增加，因此進展的速度可能會開始放緩。儘管如此，它仍將繼續前進，但可能不會像以前那樣快速。另一方面，可能會有如此強大的力量匯聚在一起推動它，以至於它可能會在未來幾年內保持快速的進展速度，然後纔會開始放緩（如果真的會放緩的話）。這就是我想要闡述的觀點。

主持人：伊利亞，這次對話非常精彩。感謝你的參與。

Ilya：我非常感謝，我真的很享受這次對話。