打造長效安全的數字內容生態，數字內容風控行業首本白皮書正式發佈！

數字內容包含文本、圖片、視頻等多種形式，起源於計算機問世，並隨着互聯網、智能手機快速發展，如今，數字內容已經成爲個人及企業建立形象、傳播價值的必要途徑。

2022年起，隨着ChatGPT的火爆出圈，AI大模型強大的生成能力受到全民關注，數字內容生產方式也歷經PGC、UGC後進入AIGC時代，圖片、視頻、文本等多種形式數量呈指數上升。

數字內容生產方式的高度自由和數字內容的極大豐富爲企業內容生態運營帶來安全挑戰，企業面臨內容不合規、網絡詐騙、黑客攻擊、垃圾註冊、代刷等風險。如何保護平臺內容生態，防禦黑灰產侵襲，維護平臺聲譽，成爲企業內容運營的顯著痛點。

數字內容風控解決方案能滿足企業數字內容安全運營需求。數字內容風控解決方案涉及機審、人審、策略運營、輿情監測、藍軍服務和培訓等應對措施，旨在通過多維度全面監管，實現對數字內容的有效管理和風險防控。

在數字內容風控解決方案落地過程中，各行業對數字內容風控的需求有何差異點？企業在不同的數字內容風控場景下應建立何種能力？如何選擇數字內容風控解決方案供應商？以及領先企業的數字內容風控實踐效果如何？

在此背景下，9月7日，愛分析聯合本站智企旗下本站易盾正式發佈《2023數字內容風控行業白皮書》。該白皮書作爲數字內容風控行業首份白皮書，將對以上問題進行系統回答。

白皮書首先介紹了數字內容風控的緣起與定義，然後對企業面臨的數字內容風控場景需求以及應具備的能力進行說明，並針對重點行業數字內容風控的需求差異進行分析，接下來白皮書對人機共融的數字內容風控解決方案進行詳細闡述，最後詳細展示娛樂社交、遊戲電競、汽車出行等行業領先企業的數字內容風控實踐案例，爲讀者提供借鑑。

注：本文爲白皮書精簡版，掃描下圖二維碼或點擊左下角“閱讀原文”，可下載完整版《2023數字內容風控行業白皮書》。

01

數字內容風控的緣起與定義

1.1數字內容風控的發展歷程及驅動因素分析

1.1.1數字內容風控發展歷程

（1）從PGC、UGC到AIGC，數字內容生產再次迎來高速發展時代

圖 1：PGC、UGC到AIGC標誌性發展事件

1958年中國第一臺電子計算機器103機問世，爲PGC的發展奠定了硬件根基。1993年12月《杭州日報·下午版》通過杭州市的聯機服務網絡進行傳輸，標誌着PGC時代正式拉開序幕。

1999年天涯社區成立，標誌着UGC正式進入大衆視野。此時，用戶仍然較少。2007年蘋果智能手機的發佈，標誌着UGC時代來臨，數字內容生產迎來了第一次增長爆發期。彼時，內容生產從以專業人士爲主，變成了更爲廣泛的非專業用戶羣體。

2016年AlphaGo戰勝世界冠軍李世石，成爲AIGC進入應用的標誌事件。2018年DeepFake出現，讓人們在感嘆AI技術先進性的同時，也對其產生了恐懼心理。2022年，ChatGΡT的智能化水平再次引爆AIGC市場，在AIGC影響下，預計國內數字內容生產將迎來第二次增長爆發期。不同於第一次的是，數字內容生產不再完全由人完成，而將主要由虛擬數字人完成。

表 1：PGC、UGC、AIGC對比分析

（2）內容數量突破增長，數字內容風控效率承壓

根據CNNIC發佈的第51次《中國互聯網絡發展狀況統計報告》顯示，截至2022年12月，我國網民規模達10.67億，佔中國可上網人數90%以上。雖然生產週期從天級向小時級邁進，但人的時間總是有限，在網民數量接近存量上限後，以用戶爲代表的UGC進入增長瓶頸期。

圖 2：中國數據總量和AIGC生產內容佔比分析

AIGC內容通過程序訓練生成，流程自動化，只要算力支撐到位，理論上數字人可無限增長，數字內容參與“人”數將突破物理限制，迎來新一輪增長。同時，AIGC內容是自動化生成，不受時間和精力限制，內容可實現秒級發佈，未來發布量不可估量。現階段看，AIGC內容佔內容總量仍在1‰以內，處於快速增長階段。

（3）內容質量逐漸不可控，數字內容風控受到挑戰

用戶內容生產多樣化，難以形成連續性和品質保證，但和AIGC相比內容相對可控。在AIGC背景下，內容由算法生成，因流程黑盒問題，人們無法完全掌握生產內容的結果，風險不可控性增強，對數字內容風控的要求也大幅升高。

1.1.2數字內容風控驅動因素分析

政策精準化演進。精準的政策法規，要求企業實現精準識別，強化了企業責任追究，加強了行業自律要求，要求內容平臺和監管部門使用更加高效、準確的技術手段，對不良信息進行精準識別和分類，以便及時採取相應的風險防範措施。同時，也要求內容平臺和相關企業承擔起更多的法律責任，在內容管理和風控方面負起更多的社會責任，保障用戶合法權益和社會公共利益。相關企業必須不斷精細化發展數字內容風控手段，才能跟上和滿足監管需求，實現自身的長久發展。

圖 3：數字內容風控政策發展

經濟發展線上化。在線經濟的發展，帶動了數字內容生產和消費方式的巨大變化，同時也帶來了更多的風險和挑戰。大量的數據和信息被存儲、傳輸和使用，網絡犯罪、虛假宣傳以及侵權等情況也相應增多，也爲版權侵犯、違規直播、淫穢色情等內容的宣傳提供了更多的溫牀，需要通過有效的內容風控手段進行管控。

圖 4：2022年經濟發展線上化數據體現

社會內容生產多元化。行業方面，不同行業術語，創業內容差異較大，導致內容風控策略及重點也會產生差異。如娛樂社交行業，作爲主要的UGC內容創業領域之一，平臺吸引了全國各省市的愛好者參與，每天會產生大量的文字、圖片、視頻、音頻，並且由於地方差異，會涉及各類方言的識別，對數字內容風控要求高。

技術的加持與挑戰。技術的不斷提升，爲數字內容提供了更多創作工具、提供了自動化生產能力、更加便捷且多樣的分發平臺，同時更加個性化的需求也在不斷被滿足。技術也可能對內容產生一定挑戰，如技術加持下，深度僞造技術已經越來越先進，數字內容在傳播和使用過程中也會面臨更多的風險，可能會導致內容同質化、缺乏原創性。

1.2數字內容風控定義與分類

1.2.1定義

數字內容風控，是通過AI等專業技術手段和業務規則，針對正常用戶和黑灰產的APP下載、註冊、內容發佈與交互、內容持續維護進行監測、識別、評估和管理的過程。通過識別和防止數字內容中存在的違法、有害或不恰當行爲，以保護用戶和平臺的利益和安全，最終達到“爲數字安全守底線，爲數字運營拔上限的”目的。具體而言，APP下載階段通過APP加固，遏制黑灰產應用破解、通信劫持、服務端攻擊等行爲；在註冊階段智能風控、註冊登錄保護、渠道假量識別、設備風險識別，對賬號、手機號、IP、設備進行多維度審覈，實現黑灰產人員身份的識別和判定，以及違規內容的審覈；在發佈、交互和持續維護階段通過識別用戶發佈文字、圖片、音頻、視頻的內容，實現平臺內容的合法、合規。

1.2.2 分類

與重點核查文字、圖片、音頻、視頻違規的“內容安全“相比，數字內容風控範圍更廣，除內容安全外，數字內容風控還包括應用安全和業務安全。爲用戶和平臺提供從APP下載、註冊到內容生產與交互的全流程安全保障。

圖 5：數字內容風控分類

02

數字內容風控的場景及重點行業需求

2.1數字內容風控需求場景及解決方案

2.1.1PGC+UGC：守安全合規底線，創運營增長業績

表 2：正常用戶和黑灰產特徵分析

因內容生產方式、目的與違規方式區別較大，使用羣體可分爲正常用戶和黑灰產兩類，其中正常用戶主要是報告PGC專業人士和UGC的普通用戶。

白皮書將正常用戶的違規行爲歸屬守安全合規底線，將黑灰產的整治歸屬創運營增長業績。同時，創運營增長業績還包含輿情管理和客戶精準運營策略。

（1）守安全合規底線是保障平臺持續運營的基本要求

圖 6：正常用戶數字內容風控環節和要點

正常用戶數字內容風控解決方案

針對四個環節合規內容審覈以色情、涉政、違禁、暴恐、謾罵等行爲和內容的識別，需要企業具備完整機審+人審能力。

爲應對數據量快速增長帶來的大量審覈需求，機審成爲企業做數字內容風控的必備能力，通過機審可以有效提升審覈效率、降低審覈成本。但機審不是萬能的，對機審不能確認部分，以及機審結果的複覈都需要人審做最後的把關。同時，對機審結果的質量檢查和統計分析可以調優機審模型，提升機審準確度，進一步降低對人審的依賴。通過審覈管理系統的“預”、“審”、“檢”、“溯”四流程，將機器審覈、人工審覈和模型調優做到高效分工和管理，做好內容安全監控。

（2）創運營增長業績是數字內容風控的進階要求

肅清黑灰產，爲用戶創造安全的產品運營環境

網絡欺詐、黑產羣控、引流等是黑灰產在網絡的主要呈現形式，對平臺危害很大。如引流，引流用戶到特定平臺進行作惡也是黑產常見手段之一。利用評論、私聊、頭像、個性簽名等一切可以利用的UGC位置發佈誘導信息，以各種理由引誘客戶脫離當前產品，到黑灰產指定的溝通平臺中進行後續交流、進而完成不法行爲。

黑灰產帶來的網絡風險對互聯網企業帶來優質用戶流失、內容生態破壞、競爭力下降、承擔法律責任、劣幣驅逐良幣等危害。

與普通用戶相比，黑灰產的治理要在客戶端加上APP安全加固、註冊人及設備審覈兩個環節，涉及監控內容更加複雜。

輿情早知道，對熱點內容針對性布控

輿情具備突發性、大規模性等多樣特徵，輿情的出現會對APP產品運營生態形成衝擊，對APP形成潛在風險。從具體特徵看，輿情信息存在強烈的突發性，需要及時監測和分析；輿情數據量龐大，需要通過大數據技術進行處理和分析；輿情信息涉及多個領域和主題，且常常存在不同觀點、利益衝突等問題；輿情信息通常帶有強烈的情感色彩，包含積極、消極、中性等不同情緒傾向；輿情信息的真實性和可信度存在一定程度的不確定性，需要進行進一步的驗證和核實。

高精度識別，實現產品營銷賦能

圖 7：某女性頭像識別結果

現在的機審在內容識別領域精確度已經很高，可以對各種類型的文本、圖像、語音等進行分析和判斷，並輸出準確的結果。這些結果包含了豐富的信息，可以幫助企業更加精確地瞭解客戶的需求、偏好、興趣和行爲特徵等，從而爲企業實現精準營銷提供有力支持。

2.1.2 AIGC：數字內容風控的矛與盾

（1）AIGC提升了內容生產效率，是數字內容生產的“利器”

自2022年開始，從引爆AI作畫領域的DALL-E 2、Stable Diffusion等AI模型，到以ChatGPT爲代表的接近人類水平的對話機器人，AIGC技術逐漸走入人們的視野和日常生活，也逐漸成爲內容生產的新引擎，其強大的內容生產能力更是給人們帶來了極大的震撼。

AIGC的出現，也爲數字內容風控實現更精準的防控創造了條件，爲數字內容風控提供了更多工具和手段，有助於實現更精準的防控。通過AIGC可以快速生成大量的訓練數據，並且可以實現對不同類型、不同場景下的內容進行分析和判斷，這有助於提高模型的準確性和泛化能力。

（2）AIGC也成爲黑灰產重要抓手，提升了數字內容風控難度

AIGC重塑了內容生產模式，爲企業數字化轉型和個人創作提供了有力抓手，也帶來了重大發展機遇。但與此同時，對於內容風控來說，AIGC的大力發展也同樣帶來了巨大的挑戰。

黑灰產得以利用其提供的更好工具降低有害內容生產的成本並提高生產效率。這促使有害內容的生成方式變得更加多樣化和不規則，包括使用自動生成的文本、圖像和視頻等。由於這些內容是通過算法自動創建的，並且可以在短時間內大規模生成，因此可能存在風險和內容無法控制的問題。

（3）快速反應，全流程應對AIGC風險

在當前的AIGC環境下，虛假信息、惡意內容以及網絡欺詐等問題已成爲亟待解決的難題。因此，AIGC平臺廠商需要建立完整的閉環風控體系，以實現全面的防範和處置。該體系應從事前防控開始，通過數據標註、數據治理等方法手段，將風險防控前置化；接着，在事中階段，應精準審覈各種內容，利用先進的人工智能算法進行快速篩選和判定是否存在違規行爲；最後，在事後處置優化階段，應採取有效的措施對違規行爲進行處理，並通過持續的監控和反饋機制，不斷完善和優化風控體系，確保AIGC平臺的安全穩定運營。

2.2 重點行業數字內容風控需求異同點分析

2.2.1 行業需求概覽

圖 8：內容安全機審行業滲透率分析

圖 9：內容安全機審整體規模測算

從行業滲透率看，娛樂社交行業整體滲透率已經較高，其中的直播短視頻、社交平臺作爲數字內容風控的重點行業，安全手段處在行業前列；遊戲電競作爲監管重點行業，在頭部、腰部企業滲透率均較高；其他行業方面，在線教育、電商、媒體、車企滲透率依次下降。

從市場規模看，機審和人審是數字內容風控的重點投入方向，僅機審一項2022年全行業整體市場規模約20億元。未來，隨着AIGC等新興重點行業的興起，以及行業內公司重視程度的提高，預計未來兩年增速會在25%左右。

2.2.2 重點行業數字內容風控需求分析

白皮書選擇重點行業進行分析，依次是娛樂社交、遊戲電競、金融、媒體、車企、新零售。

03

人機共融，持續構建良好企業運營生態

數字內容風控整體解決方案包括機審、人審、策略運營、輿情監測、藍軍服務和培訓等綜合應對措施，旨在通過多維度全面監管，實現對數字內容的有效管理和風險防控。其中，機審和人審結合可以提高審覈效率和準確性；策略運營可以根據實際情況制定相應的審覈規則和流程；輿情監測可以及時發現並應對網絡上的負面信息；藍軍服務可以提供專業的技術支持和安全保障；培訓和可以幫助用戶提高數字內容安全意識和應對能力。

3.1 機審

技術準確性和服務響應速度是企業機審選型主要決定因素

圖 10：企業機審關鍵採購因素調研

愛分析調研，n=100

根據愛分析所做的調研結果顯示，95%的企業在選擇機審數字內容風控服務商（以下簡稱“服務商”）時，最爲關注的是技術準確度，其次是服務響應度、產品價格和易用性。相比於品牌知名度，這些因素更加重要，並且更能夠直接影響到企業的數字內容安全保障水平。

分行業看，在娛樂社交、遊戲電競等行業，由於市場競爭激烈，價格相對敏感，但產品準確度和審覈效率是兩類行業更加關注的重點。行業特性決定，娛樂社交、遊戲電競需要快速識別風險點，保證平臺運行穩定性。除了這些因素之外，企業還需要注重產品質量、用戶體驗、創新和品牌形象等方面的提升，以吸引更多的用戶和客戶，並保持市場競爭力。相比之下，在廣電、新零售、車企等行業，服務商競爭相對較弱，因此企業可以更加註重產品質量、用戶體驗、創新能力和品牌形象等方面的提升，以滿足消費者對高質量產品和服務的需求，構建良好的品牌形象和口碑。當然，價格仍然是一個重要的考慮因素，企業需要根據市場需求和競爭情況合理制定價格策略，以確保產品的性價比和市場地位。

3.2 人審

圖 11：機審、人審關係圖

數字內容安全領域，人審作爲機審的補充，主要用於處理機審無法判斷的內容、抽查機審及人審通過或不通過的內容，以及處理用戶投訴和申訴內容等。從調研結果看，採購機審服務的企業，100%都需要人審服務，有外採、自建兩種模式。外部採購機審服務的企業往往將人審服務外包給數字內容安全廠商，以減輕自身人力成本和管理負擔，並能夠獲得更專業、更高效的審覈服務。自建企業可以更好的實現人員管理，實現對人審策略的快速調整，並對人審質量實現全面掌握。

採購需求看，除外包審覈人員需求外，部分公司有人員系統和人員管理服務需求，人審的綜合服務可以幫助企業實現人審的全量託管。

圖 12：企業人審關鍵採購因素調研

愛分析調研，n=100

根據愛分析所做的調研結果顯示，98%的企業在選擇數字內容安全廠商時，最爲關注的是審覈人員經驗，其次是審覈人員價格、人員管理系統、審覈人員學歷、人員管理服務。

3.3 其他綜合性服務

圖 13：其他綜合性服務介紹

策略運營數字內容安全服務商爲企業提供的一種綜合性服務，旨在幫助企業降低審覈成本和風險，提高人審審覈效率和質量。該服務通常包括風險分析和評估、風險規則制定和優化、技術支持和解決方案三個方面。

數字內容風控輿情檢測是數字內容安全領域的一項重要服務，主要用於檢測和分析網絡上的輿情信息，及時發現和處理各種風險事件和聲譽問題。按照是否可預測，輿情監測分爲可預知性和非可預知性。

藍軍服務是一種定製化服務，通過模擬風險事件，攻擊企業數字內容風控系統，從而發現系統漏洞，整體提升系統安全性，幫助企業建立和完善數字內容安全體系。根據能力要求，藍軍數據可分爲數據豐富性、AI技術先進性、安全技術全面性三個方面。

數字內容風控培訓服務是一種由服務商提供的，旨在幫助企業提升數字內容風險意識和風控能力的專業培訓服務。該服務主要包括基礎知識培訓、實踐操作培訓、風險案例培訓、定製化方案培訓四個方面。

04

領先企業的內容風控實踐

白皮書對本站易盾的誕生起源、風險控制能力、服務領域進行介紹，並展現了易盾產品開發和能力迭代歷程。本章節重點展現了娛樂社交行業、遊戲電競行業、汽車出行三行業領先企業的數字內容風控實踐案例，從行業背景、行業面臨的挑戰與願景出發，以最佳實踐案例展現領先企業面臨的數字內容風控的痛點和解決方案。

注：點擊左下角“閱讀原文”， 下載《2023數字內容風控行業白皮書》完整版。