中國人工智能奠基者張鈸：現在的人工智能技術不安全、不可靠
本篇內容主要來自於清華大學人工智能研究院名譽院長、中國科學院院士張鈸7月6日下午在世界人工智能大會昇騰人工智能產業高峰論壇上的演講，（演講全文經作者編輯，做了不改變原意的整理），內容略有刪改。
張鈸院士是中國人工智能領域泰斗級專家，早在40多年前，張鈸就開始投身人工智能領域研究，發表了中國第一篇人工智能領域的學術論文、獲得中國在人工智能領域的第一個國際重要獎項、領銜成立國內首個智能機器人實驗室、培養了本土第一位人工智能領域博士畢業生，組建中國第一個人工智能國家重點實驗室……這些“第一”樹立了中國人工智能發展的一個個里程碑，推動中國在此領域大踏步前進。
作爲中國人工智能主要奠基者和發展推動者，40多年來，張鈸矢志不渝致力於中國人工智能領域的創新，發表或共同發表了數百篇學術論文，出版系列專著。他獲得了諸多獎項，其中包括ICL歐洲人工智能獎、國家自然科學三等獎、國家科技進步三等獎、國家教委科技進步一、二等獎、電子工業部科技進步一等獎以及國防科工委科技進步一等獎。
一年前，中國科學院院士、清華大學人工智能研究院名譽院長張鈸詢問了還處於實驗室階段的ChatGPT一個簡單的問題：清華大學校歌歌詞是什麼？
ChatGPT沒有回答正確，反而開始胡說八道，張鈸當場指正並輸入了正確的校歌歌詞。但退出後再度進入，ChatGPT的答案依舊是錯的，此後張鈸數度詢問，ChatGPT依舊無法給出清華大學校歌的正確回答。
他通過這個案例，指出了ChatGPT三個不可避免的缺點，他認爲，這些情況說明Chat GPT的輸出往往不會符合我們道德、倫理、政治的要求。所以ChatGPT出現以後，人工智能的治理不可避免。
他在2023世界人工智能大會上表示，只有徹底把以ChatGPT爲代表的大模型與生成式人工智能的內部工作原理搞清楚，才能找到人工智能發展的“金鑰匙”。
1.ChatGPT向通用人工智能邁出了一步
爲什麼說ChatGPT的出現是一個關鍵節點？目前行業有觀點認爲，Chat GPT是通用人工智能，也有相反的觀點指出Chat GPT不是通用人工智能。張院士認爲這兩個說法都不全面，他比較贊同微軟提出的，ChatGPT是通用人工智能的火花。
張鈸認爲，最恰當的評價是，ChatGPT向通用人工智能邁出了一步。
Chat GPT具有通用人工智能的兩個特徵，第一個特徵是，在對話和聊天這個領域，它達到了人工智能的目標，或者是達到了行爲主義主張的人工智能的目標，即使得機器的行爲跟人類的行爲相似，與Chat GPT 對話和人類的對話很相近；
第二個特徵，Chat GPT 是開領域、多任務的，在對話這個問題裡跟領域無關，這是一個重大的突破。大家知道人工智能經歷過第一代知識驅動，第二代數據驅動，都只能在限定領域裡面完成單個任務。所以Chat GPT就變成開領域， 走向通用。
基於“達到人類水平”、“突破限定領域”這兩個通用人工智能最重要的特徵，所以可以說它是通用人工智能。但因爲它只是在對話，或者講得寬一點，是在語言處理這個領域裡面達到這個目標， 所以還不能把它稱作通用人工智能，因爲在別的智能領域裡面，它能否通用現在還說不清楚。
2.ChatGPT 達到現在這樣的水平背後經過了行業六七十年的努力
爲什麼ChatGPT 爲什麼能夠達到現在這樣的水平，張鈸解釋，主要由於人工智能經過六七十年的努力實現了三個關鍵技術的突破。
第一個技術，基於詞嵌入的文本語意表示。
第二個技術，是基於注意機制的轉換器，就是剛剛高院士談的大模型，我們現在說的大模型就是大轉換器。
第三個技術，是基於預測下一個詞的自監督學習。
他認爲，Chat GPT 是經過人工智能領域或其他領域大量科學家和工程師六七十年共同努力的結果，以上三個問題的突破，使得機器在處理文本上起到了本質的變化。
過去我們在處理文本的時候，往往把它稱作處理數據，到現在爲止，大家還是用的這個詞，但是這個詞在 Chat GPT 不成立，因爲Chat GPT是在我們找到了文本語意表示這個條件下再處理文本，所以它處理的不是文本的形式，不是把文本當成數據來處理，而是把文本當成知識來處理。
所以他認爲，Chat GPT 成功並不是僅僅歸功於三個要素，也就是數據、算力和算法，我覺得應該強調四個要素，分別是知識、數據、算法和算力。“也就是說，我們有三個關鍵技術的突破，就使得我們能夠從大量的文本這裡我們叫做數據，從大量的數據中間可以獲取到知識，只有出現這個轉變纔有現在的 Chat GPT，不然我們還是停留在那個認識上肯定是錯的。”
3.人工智能發展到Chat GPT以前不能說是科學
張鈸判斷，這個突破可能帶來三件事情是不可阻擋的:
第一件事就是必然帶來科技的革命，首先會帶來人工智能本身的革命。
張鈸解釋稱，人工智能發展到Chat GPT以前，不能說它是一個科學，因爲它沒有理論。
人工智能爲什麼理論建立不起來?
非常重要的原因是，第一代人工智能做的知識驅動也好，第二代人工智能做的數據驅動也好，都是在限定領域中完成單個任務，而在單領域單任務裡面不可能建立一個通用理論，Chat GPT 掃除了這個障礙，至少在自然語言處理上掃除了這個障礙，因爲它跟領域無關。一旦跟領域脫鉤了，纔有可能建立起來它的通用理論。
所以，現在去建立人工智能理論是有可能的，在Chat GPT沒出現以前，這種可能性不存在。
“所以這對我們來講是一個激勵，突破口就是 Chat GPT，如果我們沒有把 Chat GPT 內部的工作原理搞清楚，我們就找不到進入人工智能理論的鑰匙。”
Chat GPT裡面很多現象，我們說不清楚，但是一方面它能夠生成一個非常出人意料非常好的結果，它同時又會胡說八道。爲什麼會出現這個現象根本不清楚。
所以頭一個必然會迎來的科技的革命，首先這個革命會從 AI 本身開始。
第二個事情，就是產業的變革。首先是人工智能產業本身的產業變革。
人工智能產業的發展跟信息技術的產業發展是非常不一 樣的，信息科技的發展，我們可以用 4 個字來形容“高速持續”，但是人工智能產 業的發展是“緩慢曲折”。
什麼原因呢?一個最重要的原因就是信息科技從一開 始理論就建立起來了，計算機的理論是 1936 年建立的，通訊理論是 1948 年建立的，所以它在理論指導下，技術和它的產業發展都非常順利。
而人工智能只有算法和模型，而且這些算法和模型都是領域限定和任務限定的， 所以你開發出來的所有人工智能的硬件或軟件全是專用的，跟信息產業完全不同，
信息產業的所有硬件和軟件全是通用的，市場非常之大，而信息產業的硬件或軟 件通常是專用的，都是跟領域緊密結合的，信息產業不跟領域結合根本不可能有 這個產業，但是拿計算機來講，完全不跟應用結合，它生產出來的計算機什麼地 方都能用。
但是有了Chat GPT之後，人工智能有可能建立一個跟領域無關的模型和算法，只有這個算法和模型擺脫了領域的限制，將來生產出來的硬件和軟件纔會是通用的，或者是一定範圍裡頭通用的，纔有很大的市場。這就是今後信息產業革命的一個方向。
第三個事情，人工智能治理。
回到“清華校歌”這個例子，他認爲，這些情況說明Chat GPT的輸出往往不會符合我們道德、倫理、政治的要求。所以Chat GPT出現以後，人工智能的治理是不可避免的。
張鈸主張要發展第三代人工智能。
一是要建立可解釋魯班的人工智能理論。Chat GPT 出現以後建立這個理論才成爲可能，過去實際上是不可能建立的。
第二個內容，發展安全、可信、可控、可靠、可拓展的人工智能技術，只有建立了這個理論之後，我們纔有可能得到一個安全的人工智能技術。
“換句話說， 現在的人工智能技術是不安全的，不可靠的，也是不可信的。特別是利用大數據 的機器學習，結果一定是這樣的。”
最後，才能推動產業化的創新應用和產業發展。
以下爲演講全文：
各位專家、各位嘉賓、大家好!非常高興被聘請爲昇騰 AI 的榮譽顧 問，這可能是對人工智能工作者的一種鼓勵。我覺得人工智能工作者需要鼓勵， 因爲人工智能是闖無人區非常艱難，大家不要認爲人工智能取得的每一個進步都 是那麼容易的，都是非常困難的。
首先我想談一個問題，怎麼評估ChatGPT？現在有兩種說法，一種說法是，ChatGPT是通用人工智能，還有一種說法，它不是通用人工智能，我的觀點是，這兩個說法都不對，也都對。
我認爲最恰當的說法是， ChatGPT向通用人工智能邁出了一步。按照微軟的說法，ChatGPT是通用人工智能的火花，我贊成這種觀點。
爲什麼呢？
ChatGPT具有通用人工智能的兩個特徵，一個特徵是，在對話或者聊天這個領域，它達到了人工智能的目標，或者達到了行爲主義所主張的人工智能的目標。
行爲主義人工智能現在是人工智能主流，它背後的哲學是唯物主義、實用主義的，其追求的人工智能目標是使得機器的行爲跟人類的行爲相似。
爲什麼說ChatGPT達到了這個指標，因爲我們跟ChatGPT對話的時候，就和人類的對話很相近，因此它達到了頭一個通用人工智能的特徵。
第二個特徵是，ChatGPT是開領域多任務，也就是說，在對話這個領域，問題跟領域無關，這是一個重大的突破。
大家知道，人工智能經歷過第一代知識驅動，第二代數據驅動，都只能在限定領域裡頭完成單個任務，所以ChatGPT的出現變成一個開局，開始走向通用。
在通用人工智能最重要的兩個特徵上，達到人類水平，跟領域有關，所以我們可以說它是通用的。但是因爲它只是在對話或者說只是在語言處理這個領域裡達到這個目標，所以我們還不能把它稱作通用人工智能。因爲在別的智能領域是不是能通用，現在還說不清楚。
所以我覺得，這樣的估計是非常恰當的，我們只有在這樣的估計情況下才能討論下面的問題。
首先一個問題，ChatGPT爲什麼能夠達到現代質量水平？甚至很多地方使大家感到非常驚奇，這主要由於人工智能經過六七十年的努力，實現了三個關鍵技術的突破。
第一個技術，基於詞嵌入的文本語意表示。
第二個技術，是基於注意機制的轉換器，就是剛剛高院士談的大模型，我們現在說的大模型就是大轉換器。
第三個技術，是基於預測下一個詞的自監督學習。
所以我們應該說，ChatGPT是經過人工智能領域裡頭或者其他領域裡頭大量的科學家和工程師，經過六七十年共同努力的結果，因爲經過六七十年，這三個問題纔得到成果。
這三個關鍵問題的突破，使得機器在處理文本上起了本質的變化。
過去我們在處理文本的時候，我們往往把它稱作處理數據，到現在爲止大家還是用的這個詞兒，但是這個詞兒在Chat GPT 裡不成立，因爲ChatGPT是在我們找到了文本語義考試條件下在處理文本，所以它處理的不是文本的形式，不是把文本當成數據來處理，而是把文本當成知識來做，所以ChatGPT的成功並不是歸根於三個要素，我覺得應該強調4個要素，知識、數據、算法和算力。
也就是說我們有三個關鍵技術突破，就使得我們能夠從大量的文本，我們把它叫做數據，從大量的數據中間能夠獲取到知識點，因爲只有實現這個轉變，纔有現在的成績，不染我們還是停留在那個認識上肯定是錯的。
那麼這個突破，可能帶來三件事情是不可阻擋的，頭一件事必然帶來科技的革命，首先會帶來人工智能本身的能力。
人工智能發展到ChatGPT以前，我們不能說它是一個科學，爲什麼？他沒有理論。
人工智能爲什麼理論建立不起來？非常重要的原因是在歷代人工智能做的知識驅動也好，第二代做的數據驅動也好，我們都是在限定領域裡完成單個任務，在單領域單任務裡頭不可能來建立一個通用理論，ChatGPT掃除了這個障礙，至少在自然語言處理上掃除了這個障礙，因爲它這個領域無關，一旦跟領域脫鉤了，纔有可能建立起來通用的理論。
所以現在去研究，去建立人工智能理論是有可能的，在ChatGPT沒出現以前這種可能性不存在，所以這對我們來講是一個激勵。
什麼是突破口？突破口就在ChatGPT，如果我們把ChatGPT內部的工作原理搞清楚，我們就能找到進入人工智能理論的鑰匙。
ChatGPT裡很多現象我們說不清楚，一方面它能夠生成一個非常出人意料的結果，他同時又會產生所謂幻覺，胡說八道，爲什麼會出現這個現象，這個根本不清楚？
所以頭一個必然會迎來一個科技的革命，首先這個革命會從 AI 本身開始。
第二個事情，大家討論得非常多，就是產業的變革。首先是人工智能產業本身的產業變革。
人工智能產業的發展，跟信息科技產業發展是非常不一樣的。信息科技的發展，我們可以用4個字來形容，高速持續，可是人工智能技術產業的發展緩慢曲折，什麼原因？
一個最重要的原因，信息科技從一開始，理論就建立了起來，計算機的理論是1936年建立，通訊理論1948年建立，所以在理論指導下，它的技術、它的產業發展都非常順利，
信息產業的所有硬件和軟件全是通用，市場非常之大，信息產業不跟領域結合，根本就不可能有這個產業。而人工智能都是跟領域緊密結合，只有算法和模型，而且這些算法方面都是領域限定，任務限制的，開發出來的所有人工智能的硬件和軟件全是專用，跟信息產業完全不同。
拿計算機來講，完全不跟應用結合，它生產出來的計算機什麼地方都沒有用，但是有了ChatGPT之後就告訴大家，人工智能有可能建立一個跟領域無關的模型。
只有算法和模型擺脫了領域的限制，將來生產出來硬件和軟件纔會是通用，或者一定範圍裡頭通用，你纔有一個很大的市場，這就是今後信息產業革命的一個方向。
第三個事情，人工智能治理。Chat GPT 大家看正面的比較多，其實它反面也是很成問題的，因爲我們用的方法是叫的預測下一個詞，這種模式的學習，必然帶來兩個大問題:
首先，它的結果不確定，受提示詞的影響極大，這就引起了ChatGPT輸出有三個不可避免的缺點。
第一個缺點，錯誤是必然的，所以我們說胡說八道是必然的。
第二個它的輸出，非常受輸入的影響，受提示詞的影響，我可以改變我的輸入，問同樣的問題，改變他的輸入就會得到一個完全不同的問題。
第三個，他不知道自己錯了，也改不了，必須依靠後面，剛纔高文院士也提過了，AI對齊等等，爲什麼要靠我們來弄呢？他自己改不改？
我就舉個非常簡單例子，到現在爲止，我問ChatGPT清華大學的校歌的歌詞，他自己編了一套，我1年多以前就這麼問他，到現在還是這樣，我就告訴他說不對，清華大學校歌不是你說的，應該是西山蒼蒼東海茫茫，我把這歌詞抄給他，他馬上回對不起，我說錯了，你應該跟清華大學歌詞，我退出來再進去，問他清華大學校歌是什麼，他又自己編了一套，就說明他不知道自己犯錯了，而且是我告訴他錯誤，他也改不過來。
這些情況就說明ChatGPT的輸出往往不會符合我們的要求，我們的道德要求，我們的倫理要求，我們政治的要求，所以人工智能的，這就是 ChatGPT出現以後，人工智能的治理是不可避免的，我是認爲三個趨勢一定是這樣的。
那麼我們怎麼辦？
我覺得我們主張，要發展第三代的人工智能，第三代人實際上是包含了三個內容，一個內容就是要建立可解釋魯班的人工智能理論。剛纔我們提過千億出現投資這種建立這個理論，才成爲可能。過去實際上你不可能建立。
二是發展安全、可信、可控、可靠可擴展的人工智能技術。
也就是說只有建立了這個理論之後，我們纔有可能得到一個安全的人工智能技術。換句話講，現在的人工智能技術是不安全的，不可靠和不可信的，特別是利用大數據的機器學習，它的結果一定是這樣的。我們必須建立人工智能的理論，這才能開發出可信、可靠、可信及可擴展的人工智能技術，從而推動產業化的產業創新應用和產業發展。
我相信，通過我們國家全國的規劃，通過產學研的結合，我覺得我們這個目標一定會達到的，謝謝大家。