中國科學院院士張鈸演講：人工智能產業治理與創新發展
在此背景下，張鈸院士發表題爲《人工智能的治理與創新發展》演講，他強調：“特別是要講發展第三代人工智能的必要性。”
首先，講人工智能的治理。信息產業發展與技術發展過程中，也出現過安全問題。信息系統安全性的問題，主要來自於大型軟件設計漏洞或者缺陷，或利用缺陷對系統進行攻擊，進而產生安全問題。
這時候，安全問題的性質主要就是由於設計的缺陷造成的，所以，相對來講它是容易克服的，一旦發現漏洞之後，把漏洞補上就解決了。
到人工智能技術發展之時，出現完全全新的安全問題。這個安全問題不是來自於設計的考慮不周到，主要來源於算法本身的不安全。
所以，這個問題是非常難以解決的。
因爲它是由算法本身造成的，所以必須對算法本身做一個徹底的改變，才能完全解決安全問題。人工智能的安全問題之所以這麼被重視，主要原因就是它的安全問題更加本質，更加難以克服。
所以，我們要解決這個問題，主要是從兩個方面入手。
一個方面就是治理。
治理有兩個含義：一是防止人工智能技術被誤用，就是無意識的誤用，因爲人工智能算法本身帶來不安全問題，是很難被預先發現。
所以，有時候在使用過程中間會出現很多錯誤，如果我們在使用的過程中不注意到這個問題會產生無意識地錯用，造成嚴重後果。
第二類問題是有意識（故意）地濫用人工智能技術，就是利用人工智能算法的不安全性，去造成對人工智能系統的惡意攻擊或者濫用，這個必須要通過法律法規來解決，加以制止。
今天，我主要講算法的不安全性——如何來通過技術的創新，解決人工智能算法的不安全性問題。我們提出來發展第三代人工智能，得先說人工智能算法的安全性來自何處？
算法的不安全性，由於第二代人工智能引起，第一代人工智能並沒有存在這個問題。
第二代人工智能我們用數據驅動的方法，基本上無論對圖像處理，語音處理，文本處理是利用深度學習技術。
大家可以看到，在數據樣本比較多的情況下面，識別率可以做到很高，無論是語音或者圖像。但是，這裡存在非常本質的問題就是，這個算法非常脆弱，非常不安全。舉圖像識別的一個例子，一張人類和計算機看起來都是雪山的圖像，但是，在這張圖像上加噪聲，右邊和左邊的圖唯一的區別是多一點噪聲。人的眼睛看這張圖像當然是雪山，但計算機系統把它認爲是一條狗，而且算法的置信度是99.99%，從這裡就可以看出來，人類的視覺跟計算機的識別完全是不一回事。同時，也說明這個人工智能的算法是脆弱的，容易被攻擊的，容易被欺騙的。
原因何在？
非常簡單。這個算法本身，我們通常講的“黑箱學習算法”，一張馬的圖片，告訴計算機這是馬，但其實，計算機根本不知道馬在哪兒，不知道這個圖裡面馬在什麼地方。計算機怎麼做“識別馬”這個事情？
計算機提取這張圖片的局部特徵，來馬跟其他動物區別開來，換句話講計算機不是提取馬本身的語義特徵，而是提取這張圖裡（不僅僅是馬）所有的底層特徵，跟其他動物進行比較，計算機是用底層特徵對動物加以區別。
所以，從原理上來看，存在根本性的問題，這種處理方法的侷限性表現在：處理圖像，是放在特徵向量空間中來處理，放在連續數據空間裡面進行技術處理，進行分類。
計算機這個分類根本跟“認知”完全不是一碼事。換句話說，計算機不是去“認識”這個馬，而是用分類的方法把馬和其他動物區分開來。
這個算法本身就是不安全的，就是容易受攻擊的，我們如何克服？
這是我們提出來第三代人工智能的動機。
發展第三代人工智能包含三個方面的內容：
一個方面的內容是最主要的，我們要建立一個可解釋的魯棒人工智能理論，人工智能發展至今，所以走過非常曲折的道路，進展比較緩慢，根本的原因就是它沒有一個堅實的理論基礎，這個跟信息科技的發展完全不同，信息科技的發展的初期所有理論都建立起來了，所以信息科技發展非常順利，一路高速發展，因爲三大理論，圖靈機計算理論、通信理論、維納控制論，都是在1936年，兩個在1948年建立的，人工智能缺少這個理論。
我們必須要建立一個人工智能的理論，這是第三代人工智能一個任務，這樣纔有可能開發出來安全可信、可靠、可擴展的人工智能技術，這樣纔有可能推動人工智能的進一步發展。
如何把知識驅動和數據驅動結合起來，充分發揮知識、數據、算法和算力四要素的作用？
爲什麼把知識放在前頭？因爲知識對人工智能來講它的重要性大於數據的重要性。
我們提出來的“三空間的混合模型”，意思就是說我們把對語義的處理，就是原來符號、知識的處理，原來知識處理是離散的符號空間裡面來做的，這是第一代人工智能做的事情。
第二代人工智能是把數據放在連續向量空間裡面來處理，所以，這兩個空間是相互隔離的，沒有辦法在連續空間裡面處理到語義。
換句話，我們沒有辦法認識在連續空間裡的語義，比如，計算機處理圖像，是沒辦法“認出”馬。
如何做這個事情？
我們利用這個模型，把這兩個離散空間的模型跟連續空間的模型打通，打通這個基本是兩種方法：
一種方法是把所有處理的都放在一個連續空間裡，作爲向量進行處理。這個我們叫做範式一。
我們看怎麼做，這是一個博士生做的工作。
爲什麼在連續向量空間中間用數據驅動的方法沒有辦法認識到這個問題的語義。
計算機怎麼區別鳥？不是用鳥的外形，來區別鳥跟其他動物的不同，只是從中間提取了最明顯的特徵，就是鳥的頭部裡頭有一點發白的這部分，用非常局部的特徵來區分鳥跟其他的物體。
這個就產生一個問題了，這樣的方法是非常容易受到攻擊的。
怎麼克服這個問題？
關鍵的問題是必須要把它加上知識，它爲什麼找不到，或者把別的物體看成是鳥，因爲它根本不認識鳥，毫無鳥有關的知識。
我們現在一種辦法做的比較多的，包括瑞萊智慧團隊做的工作，是在原來數據驅動基礎上面把相關的知識放到向量空間來處理，現在全世界最主流的工作也是這麼來做的。
原來的深度學習方法，剛纔說過是不安全的，很容易受到攻擊的。
如何克服這一點？
我們的辦法就是儘可能通過各種各樣的途徑加上知識，這個知識我們也想辦法用概率或者向量的方法表達出來，這樣可以跟原來算法結合起來。
介紹一些比較簡單的工作，在訓練的時候，把對抗樣本進行訓練，告訴計算機，這個樣本儘管在某些局部特徵上跟鳥是一樣的，但不是鳥，我們就用這個對抗樣本訓練。
告訴計算機這個知識，就是說這個是對抗樣本，你不可以把它識別爲“真的樣本”。我們可以看到，這個加上去是肯定有效的，但我們也可以看到這種辦法只是治標，也就是你告訴他這種對抗樣本不是真樣本，他只對這種對抗樣本有識別能力，對抗樣本換成另外一種形式它就不行了。
我們正在這方面做的工作，清華大學團隊瑞萊智慧的很大一部分工作屬於這種性質。比如我們做的貝葉斯深度學習，把貝葉斯的一些相關的知識，相關的先驗知識、後驗約束等等加上去，這個做了肯定效果是更好。但我們清楚地知道，這個辦法本身只是治標。
現在，全世界主要的工作沿着這個方向做，可以充分發揮深度學習的某些優勢。因爲深度學習它的優勢就是可以利用各種各樣數學工具，在連續空間裡面處理的時候很容易用上各種各樣數學工具來做處理。比如說，我們現在做的珠算平臺裡面很多算法，比傳統深度學習算法，無論在可解釋性、魯棒性上面都有提高。
但是，應該看到這條路也是很艱鉅的。
只能夠針對一個特定條件下的特定工具找出一些辦法，不是徹底解決問題。
但這條路也必須要走，因爲對於計算機來做這件事情相對來講，有很多優勢，就是剛纔講的用連續向量進行處理的話，很多數學工具可以用上，計算機可以發揮很大的作用，但這種方法還是有很長的路要走。
一個根本解決問題的方法是把這兩個空間打通，換句話講，人類在圖像識別的時候，並沒有把圖像分割來看。換句話講，我們告訴計算機這是一個馬的圖像，但計算機並不知道馬在哪兒，根本也不知道何處有馬，也就是說“識別馬”和“馬的圖像的分割”，這兩步應該同時做。
我們現在並沒有同時做這個事情，不認識馬，分割馬也很困難。當我們做圖像分割的時候，可以把各個部分分割出來。
“計算機根本不知道馬究竟在什麼地方？”這個問題怎麼來解決？
回到一個我們現在用的模型的問題，我們現在用的人工神經網絡，跟大腦的神經網絡就是視神經網絡差別太大了。我們缺少了好多東西，如果簡單前向神經網絡只有前向來連接，人類大腦裡面其他機制沒有用上，反饋連接、橫向連接、注意機制、多模態、記憶等等沒有用上。
沒有用上這個缺少什麼？缺少一個最大的問題，知識和模型。
人類看馬的圖像，一下子知道馬在什麼地方，爲什麼？因爲認識馬。
我們通過什麼手段認識馬？是通過無監督學習，我們小的時候非常重要的任務就是做無監督學習，無監督學習的內容就是要建立你周圍常見物體的模型，所以，實際我們兩歲以前有了狗和貓的模型。人類認識了貓和狗，通過舉一反三很容易建立起來馬的模型。換句話講，我們之所以能夠識別馬，就是因爲早已認識馬，人類的大腦裡面留有馬的模型。
現在問題是，這個模型在計算機裡面怎麼建立？
怎麼通過無監督的方法進行學習？
這方面我們做了初步工作，這也是我們博士生做的工作，是主流的方法。想辦法通過學習，把編碼在那兒，所有馬的模型建立在隱變量裡面，學習了很多馬的模型，採樣隱變量。所以，實際上這個模型是通過無監督學習或者預訓練來建立的，目前大家也做了很多工作。
我們建立三元生成模型來講，利用這個建立起來的模型進行分類，分類的準確率也會提高。
我要告訴大家，這條路也還是非常艱鉅的，因爲你要建立剛纔講的物體的模型，特別是馬這樣的模型，馬是非剛體的，會各種各樣變形，所以如果涉及到不同馬的形，不僅僅是視覺不同，可能躺下來的馬跑起來的馬根本不是一回事，所以建立什麼樣的模型？這還是需要探討的問題。
換句話講，我們的結論就是說，這個也可以通過強化學習的方法來建立。
所以，這條路也是非常艱鉅的。這個模型怎麼建立？建立什麼樣的模型，這個模型是確定性的，是概率，還是通過什麼方式來進行學習？
我表達的意思是，發展第三代人工智能是一項非常長期的任務，人工智能的安全和治理也是長期任務。問題是從算法本身的不安全性引起的，所以，要徹底的去解決這個安全問題有很長的路要走。
所以，在解決人工智能安全性問題必須兩手抓，一手抓治理，這個治理也不是短期的任務，是長期的任務。第二手抓創新發展，這個創新發展要克服人工智能算法本身不安全性。這也是一個長期的任務。
雖然有兩種途徑，但是都非常困難。
所以，總體來講建立第三代人工智能是一項長期的任務，無論是範式一，還是範式二都有很長的路要走。既要抓發展第三代人工智能，走創新發展的道路，也要抓人工智能的治理，兩手並重，好的，謝謝大家！