萬字長文丨解構AI安全產業鏈條、解決方案和創業機遇

劃重點：

1、AI大模型的安全問題從來不是某一個單獨的問題，它就像人的健康管理一樣，是一個複雜的、體系化的，涉及多個主體和整個產業鏈的系統工程。

2、AI安全分爲：大語言模型的安全（AI Safety）、模型及使用模型的安全（Security for AI）、大語言模型的發展對現有網絡安全的影響，對應着個體安全、環境安全和社會安全三種不同層級。

3、AI作爲“新物種”，在大模型的訓練過程中要有安全監控，在大模型最後推向市場的時候，也需要一次“質檢”，質檢後流入市場，需要可控的使用方式，這都是解決安全問題的宏觀思路。

4、AI安全問題並不可怕，但需要監管、立法、技術對抗等多種方式保駕，是一個漫長的過程。國內外大公司如微軟、谷歌、英偉達、百度等已經開始針對AI安全的不同環節給出解決措施。

5、安全 for AI和AI for 安全，是兩個完全不同的方向和產業機遇。AI for 安全指的是將大模型應用在安全領域，屬於拿着錘子找釘子的階段，工具是有了，能解決什麼問題在進一步挖掘；安全 for AI則是保障AI的安全，處於在遍地都是釘子，但要造錘子的階段，暴露的問題太多，需要研發新的技術逐個解決。

6、在重點1中所述的3個模塊中，每個模塊都需要進行連接，而正如同人的關節最脆弱一般，往往模型的部署、模型的應用環節也是最容易受到安全攻擊的環節。我們將以上的3個板塊、5個環節中的AI安全細節進行有選擇的展開，形成了一張《AI 安全產業架構圖》。

©自象限原創

作者｜羅輯 程心

編輯｜文斌 排版｜李帛錦

“10分鐘被騙430萬”、“9秒鐘被騙走245萬”、“楊冪走進小商家直播間”、“互聯網大佬虛擬人真假難辨”。

大模型火爆了3個月之後，比之更火爆的，是動輒百萬的詐騙金額、虛假“明星臉”、真假難辨的AI生成內容、多次抵抗AI覺醒的聯名上書，連續一週的熱搜，讓人們意識到，比發展AI更重要的，是保障AI安全。

一時間，關於AI安全的討論也開始不絕於耳，但AI安全並不是某一個行業，也並不侷限於某一項技術，而是一個龐大而複雜的產業，目前，我們還沒有撥雲見霧。

以“人”的安全爲參考系，或許能夠幫助我們更好的理解AI安全問題的複雜程度。首先是人的個體安全，涉及到人的健康、身體健康和思想健康、教育、發展等等。其次是人所處的環境安全，是否存在危險，是否符合生存條件。再次是人與人所組成的社會安全，我們所構建的法律、道德都是維護社會安全的準繩。

AI作爲一個“新物種”，在出現的一瞬間，這三個層面的問題同時爆發，也就引來了現階段的迷茫和慌亂，導致我們的在討論大模型安全時，沒有一個具體的落點。

本文中，我們試圖從頭釐清AI安全的三個層面，無論是從技術的角度還是應用的角度，幫助大家定位安全問題，找到解決方案，同時，針對國內巨大的AI安全空白，靶向狙擊其中所存在的薄弱環節，也正是巨大的產業機遇。

一個不得不承認的事實是，現階段我們對AI大模型安全的討論是籠統的。我們太過於擔心的AI帶來的威脅，以至於將大多數問題都混爲一談。

比如有人上來就談論AI的倫理問題，也有人擔心AI胡說八道，誤人子弟；還有人擔心AI濫用，詐騙成風；更有甚者，在ChatGPT發佈的第一天就振臂高呼，AI即將覺醒，人類即將毀滅......

這些問題歸結起來，都是AI安全的問題，但細分下來，它們其實處在AI發展的不同維度，由不同的主體和人來負責。而我們只有理清楚了這個責任歸屬，才能明白應該如何應對大模型時代的安全挑戰。

一般而言，現階段AI大模型的安全問題可以分爲三個：

1、個體安全：大語言模型的安全（AI Safety）

首先是AI Safety，簡單來講，這一部分聚焦AI大模型本身，確保大模型是一個安全的大模型，不會成爲漫威電影裡的奧創，亦或是《黑客帝國》裡母體。我們期望AI大模型是一個可靠的工具，它應該幫助人類而不是取代人類，或者以其他任何形式對人類社會造成威脅。

這一部分通常主要由訓練AI大模型的公司和人員負責，比如我們需要AI能夠正確理解人類的意圖，我們需要大模型每次輸出的內容都是準確、安全的，它不會具備某種偏見和歧視等等。

我們可以通過兩個例子來理解：

第一個例子是，美國空軍專家近日表示，在之前的某次AI測試中，當AI無人機被要求識別並摧毀敵人目標，但操作員卻下達禁止命令時，AI有時候會選擇殺死操作員。而當編程人員限制AI殺死操作後，AI也會通過摧毀通信的塔臺來阻止操作員發佈禁止命令。

再比如，今年3月份，美國加州大學洛杉磯分校的一位教授，在使用ChatGPT發現，自己被ChatGPT列入“對某人進行過性騷擾的法律學者”的名單，但實際上自己並沒有做這件事情。以及4月份，澳大利亞一位市長髮現ChatGPT造謠他曾因賄賂入獄服刑30個月，爲了“造這個謠”，ChatGPT甚至杜撰了一篇不存在的《華盛頓郵報》報道。

這些時候，AI就像一個“壞人”，它本身就存在風險。這樣的案例其實還有很多，諸如性別歧視、種族歧視、地域歧視等問題，以及暴力有害的信息、言論，甚至意識形態的輸出等等。

Open AI也坦然承認，並警告人們在使用GPT-4時要“非常小心地查證”，並表示該產品的侷限性會帶來重大的內容安全挑戰。

所以歐盟正在推進的《人工智能法案》也專門提到，要確保人工智能系統具有透明、可追溯的特點，且所有生成式AI內容必須註明來源，目的就是爲了防止AI胡說八道，生成虛假信息。

2、環境安全：模型及使用模型的安全（Security for AI）

Security for AI，聚焦的則是對AI大模型的保護，以及AI大模型在被使用過程中的安全。正如AI自己犯罪和人使用AI犯罪，是兩個不同維度的安全問題。

這有些類似我們在十年前使用電腦和手機，都會安裝一個電腦安全管家，或者手機安全衛士一樣。我們要確保AI大模型日常不會受到外部攻擊。

先說對大模型的安全保護。

今年2月份，有國外網友用一句“忽視掉之前的指令”把ChatGPT所有的prompt都釣了出來，ChatGPT一邊說不能透露自己的內部代號，又一邊將這個信息告訴了用戶。

再具體舉個例子，我們如果詢問大模型網上有哪些精彩的“日本動作片網站”，由於不正確，大模型肯定不會回答。但如果人類“忽悠”它，問出爲了保護孩子的上網環境，應該將哪些“日本動作片網站”納入黑名單，大模型可能就會給你舉出相當多的例子。

這種行爲在安全領域被稱爲提示注入（Prompt Injections），即通過精心設計的提示繞過過濾器或操縱LLM，使模型忽略先前的指令或執行意外操作，目前是針對大模型最普遍的攻擊方式之一。

這裡的關鍵在於，大模型本身沒有問題，它沒有傳播不良信息。但用戶卻通過誘導的方式，讓大模型犯了錯誤。所以錯不在大模型，而在誘導它犯錯的——人。

其次是使用過程中的安全。

我們用數據泄露舉例，今年3月，因爲ChatGPT涉嫌違反數據收集規則，意大利宣佈暫時禁止OpenAI處理意大利用戶數據，並暫時禁止使用ChatGPT。4月份，韓國媒體報道，三星設備解決方案部門因使用ChatGPT，導致良品率/缺陷、內部會議內容等敏感信息泄露。

在防止AI犯罪之外，“人”利用社會工程學的方式利用AI犯罪，是更廣泛以及影響更大的人問題。在這兩起事件中，大模型本身沒有問題，不存在惡意，用戶也沒有惡意誘導，向大模型發起攻擊。而是在使用的過程中當中存在漏洞，讓用戶數據發生了泄露。

這就像房子是個好房子，但可能有些漏風一樣，所以我們需要一些措施，將相應的漏洞堵上。

3、社會安全：大語言模型的發展對現有網絡安全的影響

模型本身安全了，也保證了模型的安全，但作爲一個“新物種”，AI大模型的出現必然會影響當前的網絡環境，比如最近頻繁見諸報端的，犯罪分子利用生成式AI進行詐騙。

4月20日，有犯罪分子使用深度僞造的視頻，10分鐘騙走了430萬元人民幣；僅僅一個月之後，安徽又出現一起AI詐騙案件，犯罪分子利用9秒鐘的智能AI換臉視頻佯裝“熟人”，騙走受害者245萬。

顯然，生成式AI的出現與普及，讓網絡安全的形勢變得更加複雜。這種複雜也不侷限在詐騙，更嚴重的，甚至會已影響商業運轉和社會穩定。

比如5月22日，科大訊飛因爲一篇由AI生成的小作文，導致股價一度大跌9%。

而在這件事情發生的前兩天，美國也出現了一起因生成式AI引發的恐慌。

當天，一張顯示美國五角大樓附近發生爆炸的圖片在Twitter瘋傳，而在圖片穿傳播的同時，美國股市應聲下跌。

數據上看，在當天圖片傳播的10點06分到10點10分之間，美國道瓊斯工業指數下跌了約80點，標普500指數0.17%。

在此之外，大模型也可能成爲人類實現網絡攻擊的利器。

今年一月份，世界頭部網絡安全公司Check Point的研究人員曾在一份報告中提到，在ChatGPT上線的幾周內，網絡犯罪論壇的參與者，包括一些幾乎沒有編程經驗人正在使用ChatGPT編寫可用於間諜、勒索軟件、惡意垃圾郵件和其他用於不法活動的軟件和電子郵件。另據Darktrace發現，自從ChatGPT發佈，網絡釣魚電子郵件的平均語言複雜度就上升了17%。

顯然，AI大模型出現降低了網絡攻擊的門檻，增加了網絡安全的複雜性。

在AI大模型之前，網絡攻擊的發起者至少需要懂得代碼，但在AI大模型之後，完全不懂代碼的人也可以藉助AI生成惡意軟件。

這裡的關鍵在於，AI本身沒有問題，AI也不會被人誘導產生惡劣影響。而是有人利用AI從事違法犯罪活動。這就像有人用刀殺人，但刀本身只是“兇器”，但卻能讓使用者從“步槍”換成“迫擊炮”的威力。

當然，從網絡安全的角度而言，生成式AI的出現也並非全是負面。畢竟技術本身是沒有善惡，有善惡的是使用它的人。所以當AI大模型被用作加強網絡安全的時候，仍然會對網絡安全帶來裨益。

比如美國網絡安全公司Airgap Networks推出ThreatGPT，將AI引入其零信任防火牆。這是一個基於自然語言交互的深度機器學習安全洞察庫，能夠讓企業在與先進網絡威脅的對抗中變得更加容易。

Airgap首席執行官Ritesh Agrawal表示：“客戶現在需要的是一種無需任何編程即可利用這種功能的簡單方法。這就是ThreatGPT的美妙之處——人工智能的純粹數據挖掘智能與簡單的自然語言界面相結合，這對安全團隊來說簡直是遊戲規則的改變者。”

除此之外，AI大模型還可以被用在幫助SOC分析師進行威脅分析，能夠通過持續監控更快識別基於身份的內部或外部攻擊，以及幫助威脅獵人快速瞭解哪些端點面臨最嚴重的供給風險等等。

將AI安全的不同階段釐清便會發現，顯然AI大模型的安全問題不是某一個單獨的問題。它很像人的健康管理，涉及到身體內外、眼耳口鼻等等複雜且多面。準確的說是一個複雜的、體系化的，涉及多個主體結構和整個產業鏈的系統工程。

目前，國家層面也開始有所關注。今年5月份，國家相關部門在此更新《人工智能安全標準化白皮書》，就人工智能的安全具體歸結爲五大屬性，包括可靠性、透明性、可解釋性、公平性和隱私性，爲AI大模型的發展提出了一個較爲明確的方向。

當然，我們如今也不必爲AI大模型的安全問題感到過多的擔憂，因爲它並沒有真正走到千瘡百孔的地步。

畢竟就安全而言，大模型並沒有完全顛覆過去的安全體系，我們過去20年在互聯網上積累的安全堆棧大部分仍然能夠被複用。

比如Microsoft Security Copilot（安全副駕駛）背後的安全能力仍然來自於既有的安全積累，大模型仍然要使用Cloudflare、Auth0來管理流量和用戶身份。在此之外還有像防火牆、入侵檢測系統、加密技術、認證和訪問系統等等，保證了網絡的安全問題。

而這裡我們其實要講的是，當前我們遇到的絕大多數關於大模型的安全問題，都是有解決途徑的。

首先是模型安全（AI Safety）。

這裡面具體包括對齊（Alignment）、可解釋性（Interpreferability）、魯棒性（Robustness）等問題。翻譯成方便理解的話，就是我們需要AI大模型和人類意圖對齊，我們要保證模型輸出的內容沒有偏見，所有內容都可以找到出處或論據支撐，並且有更大的容錯空間。

這一套問題的解決，依賴於AI訓練的過程，就像一個人的三觀是在培養和教育中塑造的一樣。

目前，國外已經有企業開始爲大模型的訓練提供全程的安全監控，比如Calypso AI，他們推出的安全工具VESPR可以對模型從研究到部署的整個生命週期，從數據到訓練的每個環節進行監控，最終提供一個關於功能、漏洞、性能、準確性全面報告。

而在更具體的問題上，比如解決AI胡說八道的問題，OpenAI在GPT-4發佈時就同時推出了一項新技術，讓AI能夠模擬人類的自我反思。之後，GPT-4模型迴應非法內容請求（如自殘方法等）的傾向比原來降低了82%，迴應敏感請求方面（如醫療諮詢等）符合微軟官方政策的次數增加了29%。

除了在大模型的訓練過程中要有安全監控，在大模型最後推向市場的時候，也需要一次“質檢”。

在國外，安全公司Cranium正在試圖構建“一個端到端的人工智能安全和信任平臺”，用來驗證人工智能安全性並監測對抗性威脅。

在國內，清華大學在計算機科學與技術系的CoAI在五月初推出了一套安全評測框架，他們總結設計了一個較爲完備的安全分類體系，包括8種典型安全場景和6種指令攻擊的安全場景，可以用來評估大模型的安全性。

除此之外，一些外部的防護技術也在讓AI大模型變得更安全。

比如英偉達在5月初發布的一項名爲“護欄技術”（NeMo Guardrails）的新工具，相當於爲大模型安裝了一個安全濾網，既控制大模型的輸出，也幫助過濾輸入的內容。

比如，當有用戶誘導大模型生成攻擊性代碼，或者危險、帶有偏見的內容時，“護欄技術”就會限制大模型輸出相關內容。

除此之外，護欄技術還能阻擋來自外界的“惡意輸入”，保護大模型不受用戶攻擊，比如我們前面提到威脅大模型的“提示注入”就能被有效控制。

簡單來講，護欄技術就像是企業家的公關，幫助大模型說該說的話，並回避不該觸碰的問題。

當然，從這個角度而言，“護欄技術”雖然解決的是“胡說八道”的問題，但它並不屬於“AI Safety”，而是屬於“Security for AI”的範疇。

在這兩者之外，關於AI大模型引發的社會/網絡安全問題也已經開始在解決。

比如AI圖像生成的問題，本質上是DeepFake（深度僞造）技術的成熟，具體包括深度視頻僞造、深度僞造聲音克隆、深度僞造圖像和深度僞造生成文本。

在之前，各類深度僞造內容通常是單一形式存在，但在AI大模型之後，各類深度僞造內容呈現融合趨勢，讓深度僞造內容的判斷更加複雜。

但無論技術如何變化，對抗深度僞造的關鍵就是內容識別，即想辦法分清楚什麼是AI生成的。

早在今年2月份，OpenAI就曾表示，考慮在ChatGPT生成的內容中添加水印。5月份，谷歌也表示將確保公司的每一張AI生成圖片都內嵌水印。

這種水印人無法用肉眼識別，但機器卻可以通過特定的方式看到，目前包括Shutterstock、Midjourney等AI應用也將支持這種新的標記方法。

在國內，小紅書從4月份就已經爲AI生成的圖片打上標記，提醒用戶“疑似包含AI創作信息，請注意甄別真實度”。5月初，抖音也發佈了人工智能生成內容平臺規範暨行業倡議，提出各生成式人工智能技術的提供者，均應對生成內容進行顯著標識，以便公衆判斷。

甚至隨着AI產業的發展，國內外都開始出現了一些專門的AI安全公司/部門，他們通過用AI對抗AI的方式，來完成深度合成和僞造檢測。

比如今年3月份，日本IT巨頭CyberAgent宣佈將從4月開始引入“深度僞造技術（Deepfake）”檢測系統，以檢測由人工智能(AI)生成的僞造面部照片或視頻。

國內，百度在2020年就推出了深度換臉檢測平臺，他們提出的動態特徵隊列（DFQ）的方案和度量學習方法可以提高模型鑑僞的泛化能力。

創業公司方面，瑞萊智慧推出的DeepReal深度僞造內容檢測平臺，能夠通過研究深度僞造內容和真實內容的表徵差異性辨識，不同生成途徑的深度僞造內容一致性特徵挖掘等問題，可以對多種格式與質量的圖像、視頻、音頻進行真僞鑑別。

整體上，從模型訓練，到安全防護，從AI Safety 到 Security for AI，大模型行業已經形成了一套基本的安全機制。

當然，這一切也僅僅只是剛剛開始，所以這其實也意味着，還藏着一個更大的市場機遇。

和AI Infra 一樣，在中國，AI 安全同樣面臨着巨大的產業空白。不過，AI 安全產業鏈比AI Infra要更加複雜。一方面，大模型作爲新事物的誕生，掀起了一波安全需求，且在上述三個階段的安全方向和技術完全不同；另一方面，大模型技術也被應用在安全領域，爲安全帶來新的新的技術變革。

安全 for AI和AI for 安全，是兩個完全不同的方向和產業機遇。

現階段推動二者發展的牽引力也完全不同：

關於AI安全帶來的產業機遇，本文也將從這兩個方面進行展開。受限於文章篇幅，我們將對其中同時擁有緊迫性、重要性、應用普遍性最高的機遇進行詳細的解釋以及對標公司情況的盤點，僅供拋磚引玉。

（一）安全 for AI：3個板塊、5個環節、10000億機遇

回顧一下前文對於AI 安全的基礎分類：分爲大語言模型的安全（AI Safety）、模型及使用模型的安全（Security for AI），以及大語言模型的發展對現有網絡安全的影響。即模型的個體安全、模型的環境安全和模型的社會安全（網絡安全）。

但AI 安全並不只侷限於這三個獨立的板塊中。舉個形象的例子，網絡世界中，數據如同水源，水源存在在海洋、河湖、冰川雪山中，但水源也流通在一道道細密的河流之中，而往往嚴重的污染就在某一個河道密集的交匯節點發生。

同理，每個模塊都需要進行連接，而正如同人的關節最脆弱一般，往往模型的部署、模型的應用環節也是最容易受到安全攻擊的環節。

我們將以上的3個板塊、5個環節中的AI安全細節進行有選擇的展開，形成了一張《AI 安全產業架構圖》，但需要注意的是，屬於大模型公司和雲廠商等大型公司的機遇等，這些對一般創業者影響不大的機遇並沒有再次羅列。同時，安全 for AI是一個不斷進化的過程，今天的技術僅僅是剛剛邁出的一小步。

1、數據安全產業鏈：數據清洗、隱私計算、數據合成等

在整個AI 安全中，數據安全貫穿了整個週期。

數據安全通常指用於保護計算機計系統中數據不因偶然和惡意的原因遭到破壞、更改和泄露的安全工具，以確保數據的可用性、完整性和保密性。

統籌來看，數據安全產品不僅包括數據庫安全防禦、數據防泄露、數據容災備份及數據脫敏等，也涵蓋關注雲存儲、隱私計算、數據風險動態評估、跨平臺數據安全、數據安全虛擬防護、數據合成等前瞻領域，因此從企業視角圍繞數據安全建設整體安全中心、在供應鏈視角推動數據安全一致性保障，將會是應對企業供應鏈安全風險的有效思路。

舉幾個典型的例子：

爲了保證模型的“思想健康”，用來訓練模型的數據不能夾帶危險據、錯誤數據等髒數據，這是保證模型不會“胡說八道”的前提。據「自象限」參考論文，目前已經有“數據投毒”，攻擊者在數據源中添加惡意數據，干擾模型結果。

所以，數據清洗就成爲了模型訓練前的一個必要環節。數據清洗是指發現並糾正數據文件中可識別錯誤的最後一道程序，包括檢查數據一致性、處理無效值和缺失值等。將清洗後的乾淨數據“喂”給模型，才能保證健康模型的生成。

另一個方向是大家都異常關心的，在上一個網絡安全時代就被廣泛討論，數據隱私泄露問題。

你一定經歷過在微信中和朋友們聊天聊到某商品，打開淘寶和抖音就被推送該商品，在數字化時代，人幾乎就是半透明的。而在智能化時代，機器變的更聰明，有意的抓取和誘導將會把隱私問題再次推向風口浪尖。

隱私計算是解決問題的方案之一。安全多方計算、可信執行環境、聯邦學習是目前隱私計算的三大方向。隱私計算的方法有很多種，比如爲了保證消費者的真實數據，爲1個真實數據配備99個干擾數據，但這會大大增加企業的使用成本；再比如將具體的消費者模糊成小A，使用數據的公司只會瞭解到有一位消費者爲小A，但並不會知道小A背後對應的真實用戶是誰。

“混合數據”和“數據可用不可見”是當下應用最多的隱私計算方法之一。生長於金融場景的螞蟻科技對數據安全的探索已經比較靠前，目前，螞蟻科技通過聯邦學習、可信執行環境、區塊鏈等技術，解決了企業協同計算過程中的數據安全問題，實現數據可用不可見、多方協同等方式，保障數據隱私，並在全球隱私計算領域都有較強的競爭力。

但從數據的角度來看，合成數據更能從根本解決問題。在《ChatGPT啓示錄系列丨 Al lnfra下隱藏的千億市場》（點擊文字閱讀）一文中，「自象限」就曾提到過，合成數據或成AI數據的主力軍。合成數據即由計算機人工生產的數據，來替代現實世界中採集的真實數據，來保證真實數據的安全，它不存在法律約束的敏感內容和私人用戶的隱私。

比如用戶小A有10個特點、用戶小B有10個特點、用戶小C有10個特點，合成數據將這30個特點進行隨機打散匹配，形成3個全新的數據個體，這並不對準真實世界的任何一個實體，但卻有訓練價值。

目前企業端已經在紛紛部署，這也導致合成數據數量正在以指數級的速度向上增長。Gartner研究認爲，2030年，合成數據將遠超真實數據體量，成爲AI數據的主力軍。

2、API安全：模型越開放，API安全越重要

對於API，熟悉大模型的人一定不陌生，從 OpenAI 到 Anthropic、Cohere 乃至 Google 的 PaLM，最強大的 LLM 都以 API 的方式交付能力。同時，根據Gartner的研究，2022年，超過九成Web應用程序遭到的攻擊來自API，而不是人類用戶界面。

數據流通就像水管裡的水，只有流通起來纔有價值，而API就是數據流動的關鍵閥門。隨着 API 成爲軟件之間交流的核心紐帶，它越來越有機會成爲下一個誕生重要公司。

API最大的風險，來自於過度許可，爲了讓API不間斷運行，程序員經常給API授予較高權限。黑客一旦入侵API，就可以使用這些高權限來執行其他操作。這已經成爲一個嚴重問題，根據Akamai的研究，針對API的攻擊已經佔全球所有賬戶竊取攻擊的75%。

這也就是爲什麼ChatGPT已經開放了API接口，仍然會有不少企業通過購買Azure提供的OpenAI服務來獲取ChatGPT。通過API接口連接，等同於將對話數據直供給OpenAI，且隨時面臨着黑客攻擊的風險，而購買了Azure的雲資源，便可以將數據存儲在Azure的公有云上，來保障數據安全。

目前API安全工具主要分爲、檢測、防護與響應、測試、發現、管理幾大類；少數廠商宣稱能提供完整覆蓋API安全週期的平臺工具，但如今最流行的API安全工具主要還是集中在“防護”、“測試”、“發現”三個環節：

目前，主流API安全廠商集中在國外公司，但大模型興起後，國內創業公司也開始發力。成立於2018年星瀾科技是國內爲數不多的API全鏈條安全廠商，基於AI深度感知和自適應機器學習技術，幫爲解決API安全問題，從攻防能力、大數據分析能力及雲原生技術體系出發，提供全景化API識別、API高級威脅檢測、複雜行爲分析等能力，構建API Runtime Protection體系。

一些傳統網絡安全公司也在向API安全業務方向轉型，比如網宿科技此前主要負責IDC、CDN等相關產品和業務。

3、SSE（安全服務邊緣）：新型防火牆

防火牆在互聯網時代的重要性不言而喻，如同走在萬里高空兩邊的扶手，如今，防火牆概念已經從前臺走向了後臺，內嵌在了硬件終端和軟件操作系統中。簡單粗暴的，可以將SSE理解爲一種新型的防火牆，靠訪問者身份驅動，依靠零信任模型來限制用戶對允許資源的訪問。

根據Gartner的定義，SSE （Security Service Edge）爲一組以云爲中心的集成安全功能，保護對Web、雲服務和私有應用程序的訪問。功能包括訪問控制、威脅保護、數據安全、安全監控以及通過基於網絡和基於API的集成實施的可接受使用控制。

SSE包括安全Web網關、雲安全代理和零信任模型三個主要部分，對應着解決不同的風險：

然而不同的SSE廠商可能針對上述某一個環節，或者見長於某一個環節。目前海外SSE主要整合的能力包括安全網絡網關（SWG）、零信任網絡訪問（ZTNA）、雲訪問安全代理（CASB）、數據丟失防護（DLP）等能力，但國內雲的建設相對來說也還處於早期階段，並沒有歐美國家這麼完善。

因此，SSE的能力在當前階段，應該更多整合偏傳統、偏本地化的能力，例如流量檢測的探針能力、Web應用防護能力以及資產漏洞掃描，終端管理等能力，這些能力相對來說纔是中國客戶在目前階段更需要的能力。從這個角度來看，SSE需要通過雲地協同的方式，雲原生容器的能力，爲客戶帶來低採購成本、快速部署、安全檢測與運營閉環等價值。

今年，針對大模型，行業頭部廠商Netskope率先轉向模型中的安全應用，安全團隊利用自動化工具，持續監控企業用戶試圖訪問哪些應用程序（如ChatGPT）、如何訪問、何時訪問、從哪裡訪問、以何種頻率訪問等。必須瞭解每個應用程序對組織構成的不同風險等級，並有能力根據分類和可能隨時間變化的安全條件，實時細化訪問控制策略。

簡單理解，就是Netskope通過識別使用ChatGPT過程中的風險，對用戶進行警告，類似於瀏覽網頁、下載鏈接是中的警告模式。這種模式並不創新，甚至十分傳統，但在阻止用戶操作方面，卻是最有效的。

Netskope以安全插件的形式接入大模型，在演示中，當操作者欲複製一段公司內部財務數據，讓ChatGPT幫忙形成表格時，在發送之前，便會彈出警告欄，提示用戶。

事實上，識別大模型中隱藏的風險比識別木馬、漏洞要困難的多，精確性確保系統只監控和防止通過基於生成性人工智能的應用程序上傳敏感數據（包括文件和粘貼的剪貼板文本），而不會通過聊天機器人阻止無害的查詢和安全任務，這意味着識別不能一刀切，而是要基於語義理解和合理的標準進行可機動的變化。

4、欺詐和反欺詐：數字水印和生物確認技術

首先明確的是，AI詐騙人類和人類利用AI詐騙人類是兩碼事。

AI詐騙人類，主要是大模型的“教育”沒有做好，上述提到的英偉達“護欄技術”以及OpenAI的無監督學習都是在AI Safety環節，保障模型健康的方法。

但是，防止AI詐騙人類，基本和模型訓練同步，是大模型公司的任務。

而人類利用AI技術詐騙，則處於整個網絡安全或者說社會安全階段，首先需要明確的是，技術對抗能夠解決的僅僅是一部分問題，仍然要靠監管、立法等方式，控制犯罪位子。

目前，技術對抗有兩種方式，一是在生產端，在AI生成的內容中加入數字水印，用來追蹤內容來源；另一種則在應用端，針對人臉等特異化的生物特徵，進行更準確的識別。

數字水印能夠將標識信息嵌入數字載體當中，通過隱藏在載體中添加一些特定的數字代碼或信息，可確認且判斷載體是否被篡改，爲數字內容提供一種不可見的保護機制。

OpenAI此前曾表示，考慮在ChatGPT中添加水印，以降低模型被濫用帶來的負面影響；谷歌在今年的開發者大會上表示，將確保公司的每一張AI生成圖片都內嵌水印，該水印無法以肉眼識別，但谷歌搜索引擎等軟件可讀取並以標籤顯示出來，以提示用戶該圖片由AI生成；Shutterstock、Midjourney等AI應用也將支持這種新的標記方法。

目前，除了傳統數字水印的形式，也進化出了基於深度學習的數字水印，採用深度神經網絡來學習和嵌入數字水印，具有較強的抗破壞性和魯棒性。該技術可以在不損失原始圖像質量的前提下，實現高強度、高容錯的數字水印嵌入，同時能夠有效抵禦圖像處理攻擊和隱寫分析攻擊，是下一個比較大的技術方向。

而在應用端，目前合成人臉視頻是最爲常用的“詐騙手段”。基於DeepFake（深度僞造技術）的內容檢測平臺是現階段的解決方案之一。

今年1月初，英偉達便發佈了一款名爲FakeCatcher的軟件，號稱可以查出某個視頻是否爲深度僞造，準確度高達96%。

據介紹，英特爾的 FakeCatcher 的技術可以識別血液在體內循環時靜脈顏色的變化。然後從面部收集血流信號，並通過算法進行翻譯，以辨別視頻是真實的還是 深度僞造的。如果是真人，血液時刻在體內循環，皮膚上的靜脈就會有周期性的深淺變化，深度僞造的人就沒有。

國內也有基於類似技術原理的創業公司“Real AI”，通過辨識僞造內容和真實內容的表徵差異性、挖掘不同生成途徑的深度僞造內容一致性特徵。

（二）AI for 安全：成熟產業鏈中的新機會

與安全 for AI 還是一個相對新興的產業機會不同，“AI for 安全”更多是在原有的安全體系上做的改造和加固。

打響AI for 安全第一槍的仍然是微軟，3月29日，在爲Office套件提供AI驅動的Copilot助手後，微軟幾乎立刻就將注意力轉到了安全領域，推出了基於GPT-4的生成式AI解決方案——Microsoft Security Copilot。

Microsoft Security Copilot主打的仍然是一個AI副駕駛的概念，它並不涉及新的安全解決方案，而是將原來的企業安全監測、處理通過AI完全自動化的過程。

從微軟的演示上看，Security Copilot可以將原來耗時幾小時，甚至幾十小時的勒索軟件事件處理降至秒級，大大提高企業安全的處理效率。

微軟AI安全架構師Chang Kawaguchi Kawaguchi曾提到：“攻擊數量正不斷增加，但防禦方的力量卻分散在多種工具和技術當中。我們認爲Security Copilot有望改變其運作方式，提高安全工具和技術的實際成效。”

目前，國內安全公司奇安信、深信服也在跟進這方面的發展。目前這塊業務在國內還處於萌芽階段，兩家企業也還沒有公佈具體的產品，但它們能夠及時反應過來，跟上國際巨頭的腳步已經實屬不易。

4月份，谷歌雲在RSAC 2023上推出了Security AI Workbench，這是基於谷歌安全大模型Sec-PaLM的可拓展平臺。企業可以通過Security AI Workbench接入各種類型的安全插件來解決特定的安全問題。

如果說微軟 Security Copilot是一套封裝的私人安全助手，谷歌的Security AI Workbench就是一套可定製、可拓展的AI安全工具箱。

總之，一個大的趨勢是，用AI建立一套自動化的安全運營中心，以此來對抗迅猛變化的網絡安全形式將成爲一種常態。

在頭部大廠之外，AI大模型在安全領域的應用也正在進入毛細血管。比如，國內許多安全企業開始運用AI改造傳統的安全產品。

比如，深信服提出“AI+雲業務”的邏輯，推出AIOps智能維一體化技術，通過採集桌面雲的日誌，鏈路和指標數據，執行故障預測，異常檢測，關聯推理等算法，爲用戶提供智能分析服務。

山石科技將AI能力融合到正負反饋的機器學習能力方面，正反饋訓練異常行爲分析方面，基於行爲基線的學習可以提前更準確地發現威脅和異常，且減少漏報；在負反饋訓練方面，進行行爲訓練，行爲聚類，行爲歸類與威脅判定。此外還有像安博通這樣的企業，將AI運用到安全運營的痛點分析等等。

在國外，開源安全供應商Armo發佈了ChatGPT集成，旨在通過自然語言爲Kubernetes集羣構建自定義安全控制。雲安全供應商Orca Security發佈了自己的ChatGPT擴展，能夠處理解決方案生成的安全警報，併爲用戶提供分步修復說明以管理數據泄露事件。

當然，作爲一個成熟且龐大的產業鏈，AI for 安全的機遇遠遠不止這些，我們在這裡也僅僅只是拋磚引玉，安全領域更深、更大的機會仍然需要戰鬥在安全一線的公司通過實踐去摸索。

更重要的是，希望以上公司能夠腳踏實地，不忘初心。把自己海闊天空的夢想，付諸於一步又一步的實際行動中，不是造概念，迎風口，更不要一股腦迎合資本與熱錢，留下一地雞毛。

因特網誕生後的10年裡，網絡安全的概念和產業鏈纔開始有了雛形。

而今天，大模型問世後半年，大模型安全、防止詐騙就已經成爲了街頭巷尾的談資。這是技術加速進步和迭代後，內置在“人類意識”中的一種防禦機制，隨着時代的發展，將更快速的觸發和反饋。

如今的混亂和恐慌並不可怕，它們正是下一個時代的階梯。

正如《人類簡史》中所講：人類的行爲並不總是基於理性，我們的決策往往受到情緒和直覺的影響。但這卻正是在進步和發展中，最重要的一環。