2024年9月9日，全國(guó)網絡安(ān)全标準化技(jì )術委員會（以下簡稱“網安(ān)标委”）發布了《人工智能(néng)安(ān)全治理(lǐ)框架》1.0版（以下簡稱“《治理(lǐ)框架》”）。本文(wén)将對這一份人工智能(néng)領域的指導性文(wén)件中的要點作(zuò)出解讀，以期對國(guó)内人工智能(néng)領域的治理(lǐ)原則、安(ān)全風險點以及應對、治理(lǐ)措施進行整體(tǐ)理(lǐ)解和把握。

一、給出了人工智能(néng)領域的治理(lǐ)原則

《治理(lǐ)框架》将人工智能(néng)安(ān)全治理(lǐ)原則概括為(wèi)“包容審慎、确保安(ān)全”“風險導向、敏捷治理(lǐ)”“技(jì )管結合、協同應對”“開放合作(zuò)、共治共享”這四點，旨在鼓勵人工智能(néng)創新(xīn)發展，同時有效防範化解人工智能(néng)安(ān)全風險，[1]并有助于推動人工智能(néng)安(ān)全治理(lǐ)國(guó)際合作(zuò)，推動形成具有廣泛共識的全球人工智能(néng)治理(lǐ)體(tǐ)系。

二、風險、措施、指引層次明确，架構清晰

《治理(lǐ)框架》按照“提出問題”到“解決問題”的順序來布局：首先梳理(lǐ)人工智能(néng)技(jì )術本身，及其在應用(yòng)過程中面臨的各種安(ān)全風險隐患；之後針對前述安(ān)全風險點，從技(jì )術措施和綜合治理(lǐ)兩個方面來提出解決方案；最後還針對不同角色（模型算法研發者、AI服務(wù)提供者、重點領域用(yòng)戶和社會公衆用(yòng)戶），給出了開發應用(yòng)人工智能(néng)技(jì )術的若幹安(ān)全指導規範；《治理(lǐ)框架》末尾還以映射表格的形式将“安(ān)全風險”“技(jì )術應對措施”“綜合治理(lǐ)措施”的對應關系一一進行列舉，整體(tǐ)層次明确，架構清晰，讓讀者能(néng)夠準确定位風險問題與解決方案。

三、較全面地羅列了人工智能(néng)安(ān)全風險

《治理(lǐ)框架》将人工智能(néng)安(ān)全風險分(fēn)為(wèi)内生（即自身）安(ān)全風險與應用(yòng)安(ān)全風險兩大模塊。

1、内生安(ān)全風險中的模型算法安(ān)全風險

《治理(lǐ)框架》聚焦于AI模型算法的可(kě)靠性，關注模型算法可(kě)解釋性差的風險，偏見、歧視風險，魯棒性弱的風險，被竊取、篡改的風險，輸出不可(kě)靠風險，對抗攻擊風險。由于模型算法是人為(wèi)設計、幹預的，在一定程度上可(kě)能(néng)會因算法内部運行邏輯複雜、引入或訓練數據存在個人偏見或歧視、深度神經網絡本身的大規模及非線(xiàn)性特征、算法核心信息被竊取或篡改、來自攻擊者的誤導數據等因素，導緻AI模型存在着輸出結果難以預測和歸因、偏見歧視或誤導、決策錯誤，甚至模型運行故障、癱瘓等的嚴重後果。

2、内生安(ān)全風險中的數據安(ān)全風險

2024年2月29日，網安(ān)标委發布了TC260-003《生成式人工智能(néng)服務(wù)安(ān)全基本要求》，作(zuò)為(wèi)一份人工智能(néng)領域的技(jì )術規範文(wén)件，它對“語料安(ān)全”（“語料”即“訓練預料”，指所有直接作(zuò)為(wèi)模型訓練輸入的數據，包括預訓練、優化訓練過程中的輸入數據）進行了重點規範。在此基礎上，《治理(lǐ)框架》對人工智能(néng)模型的輸入、輸出端的數據安(ān)全風險都作(zuò)出了全面羅列，指導算法研發者、服務(wù)提供者和用(yòng)戶關注模型訓練數據和人機交互數據的安(ān)全風險。

3、内生安(ān)全風險中的系統安(ān)全風險

該部分(fēn)指出了人工智能(néng)模型、産品的缺陷、後門被攻擊利用(yòng)風險，算力安(ān)全風險，以及人工智能(néng)産業鏈的供應鏈安(ān)全風險，并對産品研發過程、算力基礎設施資源、以及涉及國(guó)内外的宏觀供應鏈中的安(ān)全風險進行了列舉。

4、應用(yòng)安(ān)全風險

該部分(fēn)針對人工智能(néng)在網絡域、現實域、認知域、倫理(lǐ)域中的安(ān)全風險進行了梳理(lǐ)。可(kě)能(néng)引發重點關注的風險包括信息内容安(ān)全風險、不當使用(yòng)引發信息洩露風險等。

其中，信息内容安(ān)全的風險點包括AI生成或合成内容的虛假信息傳播、歧視偏見、隐私洩露、侵權、以及輸出違法有害内容等問題。

信息洩露風險主要關注用(yòng)戶輸入數據中包含了商業秘密、敏感信息的情況下，可(kě)能(néng)導緻信息洩露，造成嚴重後果。據報道，韓國(guó)某知名企業工作(zuò)人員在使用(yòng)ChatGPT時，因不當使用(yòng)，發生了機密數據洩露事件，涉及設備測量資料等企業商業機密信息。因此，用(yòng)戶在使用(yòng)人工智能(néng)産品時要高度關注，防範此類風險。

四、有針對性地提出技(jì )術應對措施、綜合治理(lǐ)措施

 針對上述安(ān)全風險，《治理(lǐ)框架》指導模型算法研發者、服務(wù)提供者、系統使用(yòng)者等從訓練數據、算力設施、模型算法、産品服務(wù)、應用(yòng)場景各方面采取技(jì )術措施予以防範。

1、針對模型算法安(ān)全風險，《治理(lǐ)框架》建議的技(jì )術應對措施是提供明确說明、建立并實施安(ān)全開發規範等。

2、針對數據安(ān)全風險，技(jì )術應對措施主要着眼于個人信息保護和知識産權保護，以及數據處理(lǐ)（包括跨境數據處理(lǐ)）的規則和措施等。

3、針對系統安(ān)全風險，技(jì )術應對措施包括适當公開風險、标識輸出内容、加強風險識别檢測與防護、加強運維能(néng)力、關注供應鏈安(ān)全等措施。

4、針對應用(yòng)安(ān)全風險，技(jì )術應對措施包括建立安(ān)全防護機制、數據護欄、設置服務(wù)提供邊界、篩選判别不真實或有偏見歧視的數據等措施。

5、綜合治理(lǐ)措施層面，《治理(lǐ)框架》主要從制度、管理(lǐ)、應急和監督機制、人才培養、國(guó)際交流合作(zuò)等方向，宏觀上給出了綜合治理(lǐ)的制度規範。

五、為(wèi)不同角色制定了安(ān)全開發應用(yòng)指引

《治理(lǐ)框架》分(fēn)别從模型算法研發者、人工智能(néng)服務(wù)提供者、重點領域使用(yòng)者及社會公衆四種角色的角度，給出了每種角色在處理(lǐ)或使用(yòng)人工智能(néng)産品、服務(wù)時的安(ān)全指引。

其中，模型算法研發者這一部分(fēn)主要強調在從需求分(fēn)析到訓練數據選用(yòng)等環節，對數據安(ān)全、個人信息保護、知識産權方面的風險提前加以明确，在各環節做好測試和評估，生成測試報告，分(fēn)析問題并提出改進方案。

對于人工智能(néng)服務(wù)提供者，則強調要在服務(wù)提供過程中及時将風險和注意事項等告知用(yòng)戶，評估風險、做好預案，遇到安(ān)全事故和漏洞及時報告等。

對于重點領域使用(yòng)者，《治理(lǐ)框架》強調了在使用(yòng)過程中的操作(zuò)合規、定期審計和檢查等措施。對于社會公衆，主要強調審慎選擇和了解人工智能(néng)産品，關注使用(yòng)中的風險，同時也提到了要注意人工智能(néng)産品對于兒童和青少年的影響，防止沉迷和過度使用(yòng)等。

六、總結

在TC260-003《生成式人工智能(néng)服務(wù)安(ān)全基本要求》發布數月後，新(xīn)發布的《治理(lǐ)框架》較全面地總結了目前國(guó)内人工智能(néng)産品及服務(wù)可(kě)能(néng)遇到的安(ān)全風險、技(jì )術應對及綜合治理(lǐ)措施，作(zuò)為(wèi)一份技(jì )術指南，值得人工智能(néng)産品研發者、服務(wù)提供者、使用(yòng)者去仔細研讀，以規避和有效應對人工智能(néng)領域的安(ān)全風險，促進行業健康發展。正如網安(ān)标委相關人員所述，《治理(lǐ)框架》1.0版的發布，“對推動社會各方積極參與、協同推進人工智能(néng)安(ān)全治理(lǐ)具有重要促進作(zuò)用(yòng)，為(wèi)培育安(ān)全、可(kě)靠、公平、透明的人工智能(néng)技(jì )術研發和應用(yòng)生态，促進人工智能(néng)的健康發展和規範應用(yòng)，提供了基礎性、框架性技(jì )術指南。同時，也有助于在全球範圍推動人工智能(néng)安(ān)全治理(lǐ)國(guó)際合作(zuò)，推動形成具有廣泛共識的全球人工智能(néng)治理(lǐ)體(tǐ)系，确保人工智能(néng)技(jì )術造福于人類。” [2]

後續，我們還将繼續關注人工智能(néng)領域的監管及行業發展動态，敬請期待。

[注] 

[1] https://www.tc260.org.cn/front/postDetail.html?id=20240906174148，全國(guó)網絡安(ān)全标準化技(jì )術委員會官方網站

[2] https://www.tc260.org.cn/front/postDetail.html?id=20240906174148，全國(guó)網絡安(ān)全标準化技(jì )術委員會官方網站