●序●

如果說(shuō)，早期人們對(duì)AI技術(shù)的能力還抱有些許質(zhì)疑的話(huà)，那么2016年Google公司AlphaGo的橫空出世，則讓普羅大眾對(duì)AI技術(shù)的看法有了耳目一新的變化，越來(lái)越多的AI技術(shù)被應(yīng)用到各行各業(yè)中，帶來(lái)商業(yè)繁榮的同時(shí)也帶來(lái)了人們更多的擔(dān)憂(yōu)。

在AI技術(shù)的加持之下，我們的生活在不知不覺(jué)中不斷發(fā)生著從量變到質(zhì)變的迭代。我們通過(guò)AI技術(shù)賦能的內(nèi)容平臺(tái)可以更深入地了解世界和自己，同時(shí)也承擔(dān)著信息繭房之傷害。我們通過(guò)AI技術(shù)賦能的商業(yè)平臺(tái)獲得更多的便捷性，同時(shí)也被大數(shù)據(jù)殺熟等副作用包圍。

我們被AI計(jì)算，同時(shí)也被AI算計(jì)。

隨著AI技術(shù)在各類(lèi)商業(yè)、業(yè)務(wù)模式中的廣泛應(yīng)用，身為安全從業(yè)者的我們不得不對(duì)這一古老而又新鮮的技術(shù)模式加以重視。到底AI 技術(shù)會(huì)給安全行業(yè)帶來(lái)哪些巨變？

多年以前，我和我的團(tuán)隊(duì)在安全工作中遇到過(guò)一個(gè)特殊的黑產(chǎn)團(tuán)伙，該團(tuán)伙讓我們青睞有加的原因在于，其在相關(guān)的攻防場(chǎng)景里，用了當(dāng)時(shí)頗為流行的Caffe深度學(xué)習(xí)框架和卷積神經(jīng)網(wǎng)絡(luò)，這使得他們同其他競(jìng)爭(zhēng)者相比攻擊效率有了數(shù)倍的提升。

盡管這個(gè)黑產(chǎn)團(tuán)伙后來(lái)被及時(shí)打掉，但這也讓我們意識(shí)到一個(gè)事實(shí)在未來(lái)的日子里，AI技術(shù)必將是安全戰(zhàn)場(chǎng)攻防兩端的兵家必爭(zhēng)之地。

從那時(shí)候起，我的團(tuán)隊(duì)就開(kāi)始在AI安全方面做大量細(xì)致、深入的探索研究工作，我們的嘗試和實(shí)踐主要覆蓋以下幾個(gè)方面。

（1）AI技術(shù)本身的安全性。

（2）AI技術(shù)為攻擊提效。

（3）AI技術(shù)為防守助力。

（4）AI技術(shù)之以攻促防，攻防聯(lián)動(dòng)。

我們走過(guò)一些彎路，也有過(guò)一些收獲。我們參考了很多前輩和行業(yè)專(zhuān)家的經(jīng)驗(yàn)成果，也分享過(guò)一些小小的發(fā)現(xiàn)。而正是在這個(gè)探索過(guò)程中，我們意識(shí)到，前輩們的探索經(jīng)驗(yàn)和研究成果，為我們所進(jìn)行的安全研究工作帶來(lái)了諸多的便捷性。

所以，本著繼承和發(fā)揚(yáng)前輩們的開(kāi)放、協(xié)作和共享精神，我們也將工作中的點(diǎn)滴進(jìn)行了總結(jié)與歸納，把研究歷程中的一些經(jīng)驗(yàn)沉淀下來(lái)形成本書(shū)。

本書(shū)的重點(diǎn)將錨定在AI安全發(fā)展的通用技術(shù)上，包括對(duì)抗樣本攻擊、數(shù)據(jù)投毒攻擊、模型后門(mén)攻擊、預(yù)訓(xùn)練模型中的風(fēng)險(xiǎn)與防御、AI數(shù)據(jù)隱私竊取攻擊，以及AI 應(yīng)用失控等方面。本書(shū)對(duì)各類(lèi)攻擊方法及其技術(shù)原理進(jìn)行了分析，并詳細(xì)介紹了基于不同算法和數(shù)據(jù)實(shí)驗(yàn)的實(shí)現(xiàn)過(guò)程和案例總結(jié)，基本保持了原汁原味，以便志同道合的讀者朋友們進(jìn)行參考，這也算是我和我的團(tuán)隊(duì)為AI安全工作盡的一些綿薄之力。

我們深知，一方面，安全和技術(shù)的發(fā)展都日新月異、持續(xù)更新和迭代，本書(shū)中一些內(nèi)容和知識(shí)點(diǎn)隨著時(shí)間的推移都會(huì)逐漸過(guò)時(shí)、落伍，所以我們也會(huì)繼續(xù)不斷探索、保持更新。另一方面，也希望通過(guò)我們的管中窺豹來(lái)拋磚引玉，通過(guò)本書(shū)結(jié)識(shí)更多志同道合的朋友。

我始終相信，科技的力量會(huì)讓人類(lèi)文明更加美好，雖道阻且長(zhǎng)，但行則將至，行而不輟，未來(lái)可期。我和團(tuán)隊(duì)的小伙伴們會(huì)繼續(xù)努力，也歡迎有興趣的讀者朋友們一起探討、共同研究，攜手體驗(yàn)AI安全探索的奇妙之旅。

楊勇 騰訊安全平臺(tái)部負(fù)責(zé)人

●前言●

騰訊安全朱雀實(shí)驗(yàn)室于2019年開(kāi)始著手AI安全的研究工作，涉及對(duì)抗樣本攻擊、模型安全、AI應(yīng)用失控等多個(gè)領(lǐng)域。在技術(shù)研究和實(shí)踐過(guò)程中，我們走過(guò)許多彎路，也嘗過(guò)成功的喜悅，這在一定程度上凝結(jié)成了此書(shū)的大部分內(nèi)容，特與讀者分享。

回顧最初的探索，我們是從對(duì)抗樣本開(kāi)始的，在多個(gè)場(chǎng)景中實(shí)現(xiàn)通過(guò)輕微篡改來(lái)欺騙AI 模型，并嘗試將技術(shù)成果在騰訊業(yè)務(wù)場(chǎng)景中找到落腳點(diǎn)。然而，在實(shí)踐過(guò)程中，多次實(shí)驗(yàn)表明對(duì)抗樣本的遷移性有限，即基于A模型生成的對(duì)抗樣本很難在B模型上發(fā)揮作用。2019年年底，我們轉(zhuǎn)而研究如何生成遷移性更好的對(duì)抗樣本，并在一些學(xué)術(shù)會(huì)議和安全會(huì)議上分享了我們的研究成果及經(jīng)驗(yàn)，如ECCV、CanSecWest等。和大多數(shù)AI 研究遇到的問(wèn)題一樣，實(shí)驗(yàn)室的研究成果在產(chǎn)業(yè)落地上往往力不從心。

2020年以來(lái)，朱雀實(shí)驗(yàn)室在相關(guān)技術(shù)積累的基礎(chǔ)上，拓寬AI 安全研究領(lǐng)域，涉及模型安全、AI濫用、AI倫理等，同時(shí)構(gòu)建和完善AI安全藍(lán)圖，進(jìn)一步探索技術(shù)的應(yīng)用落地。

在模型安全研究方面，我們分別在XCon 2020、ICLR 2021（ Security Workshop）、CVPR 2022等安全/AI領(lǐng)域會(huì)議上分享非數(shù)據(jù)投毒式的模型后門(mén)攻擊研究成果，驗(yàn)證了攻擊在掌握少量模型信息的情況下，通過(guò)對(duì)網(wǎng)絡(luò)參數(shù)的精準(zhǔn)修改重建出模型后門(mén)的可能性，這進(jìn)一步揭示了算法模型的脆弱性。

在AI應(yīng)用失控方面，我們圍繞深度偽造帶來(lái)的潛在安全風(fēng)險(xiǎn)問(wèn)題，一方面，從攻擊的角度出發(fā)，去揭露一些安全風(fēng)險(xiǎn)問(wèn)題；另一方面，從防御的角度出發(fā)，去落地一些用于深度偽造檢測(cè)的工具，并連續(xù)兩年在安全會(huì)議上分享工作成果。除此之外，我們?cè)谡Z(yǔ)音攻擊、文本攻擊等不同的領(lǐng)域也做了大量的實(shí)驗(yàn)工作。

在同AI算法打交道的過(guò)程中，我們發(fā)現(xiàn)，現(xiàn)階段基于深度學(xué)習(xí)的系統(tǒng)是較容易遭到對(duì)抗樣本攻擊的。一方面，業(yè)務(wù)側(cè)以功能需求為第一要?jiǎng)?wù)，安全防御方面的工作相對(duì)滯后，通常在出現(xiàn)攻擊案例后才會(huì)進(jìn)行分析和調(diào)整，而且這種修補(bǔ)過(guò)程并不像傳統(tǒng)網(wǎng)絡(luò)安全漏洞修補(bǔ)的過(guò)程，需要不斷調(diào)整訓(xùn)練數(shù)據(jù)和優(yōu)化訓(xùn)練過(guò)程，實(shí)施過(guò)程的成本較高；另一方面，AI算法的建立過(guò)程并沒(méi)有引入安全環(huán)節(jié)把控，理論上攻擊方法非常豐富，即使AI系統(tǒng)僅提供API級(jí)別的交互服務(wù)，攻擊者也可以通過(guò)模型竊取攻擊方式來(lái)擬合線(xiàn)上模型決策結(jié)果，建立一個(gè)本地的白盒模型，再在白盒模型的基礎(chǔ)上進(jìn)行遷移攻擊，進(jìn)而影響線(xiàn)上模型。

總體來(lái)看，當(dāng)前階段攻擊方法走在了防御方法的前面，我們可以通過(guò)總結(jié)各種攻擊方法來(lái)尋找有效的防御手段，同時(shí)可以把網(wǎng)絡(luò)安全領(lǐng)域的防御思想加到AI系統(tǒng)的建設(shè)上來(lái)，在系統(tǒng)的研發(fā)過(guò)程中引入SDL規(guī)范，如增加敏感數(shù)據(jù)檢測(cè)、適當(dāng)進(jìn)行對(duì)抗樣本訓(xùn)練、進(jìn)行軟件層面的庫(kù)和框架及時(shí)更新等。

AI安全是一項(xiàng)新技術(shù)，在多個(gè)層面都需要考慮安全問(wèn)題。本書(shū)第1章是對(duì)AI安全發(fā)展的概要性介紹；第2～3章從數(shù)據(jù)層面討論對(duì)抗樣本、數(shù)據(jù)樣本的安全問(wèn)題；第4～5章從模型層面討論模型后門(mén)和預(yù)訓(xùn)練模型的安全問(wèn)題；第6～7章從應(yīng)用角度討論隱私竊取和應(yīng)用失控問(wèn)題。同時(shí)，在闡述過(guò)程中我們精選多個(gè)實(shí)戰(zhàn)案例，力求把數(shù)據(jù)、算法、模型、應(yīng)用等層面的安全問(wèn)題向讀者展示出來(lái)。

AI安全的發(fā)展在未來(lái)勢(shì)必會(huì)迎來(lái)更加嚴(yán)峻的挑戰(zhàn)，我們將自己的研究成果在本書(shū)中進(jìn)行分享，敬請(qǐng)讀者批評(píng)指正。希望能借此書(shū)，與同行共同推動(dòng)AI安全的發(fā)展和進(jìn)步。最后衷心感謝電子工業(yè)出版社所給予的支持。感謝付出了大量時(shí)間和精力完成本書(shū)的同事，他們是楊勇、朱季峰、唐夢(mèng)云、徐京徽、宋軍帥、李兆達(dá)、駱克云。

騰訊安全朱雀實(shí)驗(yàn)室