人工智能是 21 世紀最重要的科學技術(shù)之一。從日常生活到工業(yè)制造再到科學研究，人工智能可以協(xié)助人類進行決策，代替耗時費力的重復(fù)性勞動，在大幅提升生產(chǎn)力的同時，加速推進產(chǎn)業(yè)結(jié)構(gòu)升級變革。然而，人工智能的發(fā)展并不是一帆風順的，從 1956 年達特茅斯會議提出 “人工智能” 概念至今，經(jīng)歷了起起伏伏，但人們追求 “通用人工智能” 的愿望從未停止。近年來，隨著深度神經(jīng)網(wǎng)絡(luò)的提出、大規(guī)模數(shù)據(jù)集的構(gòu)建和計算硬件的升級，數(shù)據(jù)、算法、算力三要素齊備，人工智能進入飛速發(fā)展階段。我們現(xiàn)在可以訓練包含十億、百億甚至千億參數(shù)的人工智能大模型，這些大模型已經(jīng)具備很強的能力，初見通用人工智能的端倪。如今，人工智能模型已經(jīng)在交通、醫(yī)療、教育、金融、安防等領(lǐng)域廣泛部署應(yīng)用。
我們在擁抱人工智能的同時，需要充分重視其帶來的安全問題。想要了解人工智能模型的安全問題，則須充分掌握其工作原理。自從深度神經(jīng)網(wǎng)絡(luò)被提出以來，科研人員就針對其工作原理和性質(zhì)開展了大量的研究，幾乎每發(fā)現(xiàn)一個特性就會引發(fā)一系列新的安全問題。例如，2013 年發(fā)現(xiàn)的 “對抗脆弱性” 引發(fā)了各種各樣的針對深度神經(jīng)網(wǎng)絡(luò)模型的對抗攻擊；2017 年發(fā)現(xiàn)的 “后門脆弱性” 引發(fā)了大量的數(shù)據(jù)投毒和后門攻擊；深度神經(jīng)網(wǎng)絡(luò)的“記憶特性” 引發(fā)了對其隱私的攻擊，包括數(shù)據(jù)竊取攻擊和成員推理攻擊等；而其對個別樣本的 “敏感性” 和功能 “可萃取性” 則讓模型竊取攻擊成為可能。研究攻擊是為了更好地防御。我們可以借助不同的攻擊算法來對模型進行系統(tǒng)全面的安全性評測，從不同維度揭示其脆弱性邊界，了解其在實際應(yīng)用中可能存在的安全問題�；�于這些分析，我們可以設(shè)計更高效的防御方法，提升模型在實際應(yīng)用過程中的魯棒性和安全性。這對大模型來說尤其重要，因為大模型所服務(wù)的用戶群體更廣，其安全問題往往會引發(fā)大范圍的負面影響。例如，一旦自動駕駛系統(tǒng)存在安全隱患，則可能會威脅駕駛員、乘客和行人的生命安全。
當前，人工智能發(fā)展迅猛，新技術(shù)層出不窮，算法與模型日新月異，其安全問題也是如此。正是在這樣的背景下，我們將近年來在研究過程中所積累的人工智能安全方面的知識歸納整理成此書，系統(tǒng)地呈現(xiàn)給讀者。希望此書能夠在一定程度上彌補在此方向上國內(nèi)外教材的空白，為通用人工智能的到來做好準備，以保障其健康發(fā)展。
數(shù)據(jù)和模型是人工智能的兩大核心要素。其中，數(shù)據(jù)承載了知識的原始形式，大規(guī)模數(shù)據(jù)集的采集、清洗和標注過程極其煩瑣，需要大量的人力物力；模型則承載了從數(shù)據(jù)中學習得到的知識，其訓練過程往往耗資巨大。高昂的價值和其背后的經(jīng)濟利益使數(shù)據(jù)和模型成為攻擊者最為關(guān)注的攻擊目標。正因如此，領(lǐng)域內(nèi)大量的研究工作都是圍繞數(shù)據(jù)和模型展開的。因此，本書聚焦人工智能領(lǐng)域中的數(shù)據(jù)和模型安全。人工智能安全的概念是廣泛的，包括內(nèi)生安全、衍生安全和助力安全等，本書的大部分內(nèi)容屬于內(nèi)生安全。
本書的章節(jié)組織如下。第 1 章簡要回顧了人工智能的發(fā)展歷程；第 2 章介紹了機器學習的基礎(chǔ)知識；第 3 章介紹了人工智能安全相關(guān)的基本概念、威脅模型和攻擊與防御類型；第 4 章聚焦數(shù)據(jù)安全方面的攻擊；第 5 章聚焦數(shù)據(jù)安全方面的防御；第 6 ～ 10 章分別聚焦模型安全方面的對抗攻擊、對抗防御、后門攻擊、后門防御以及竊取攻防；第 11 章展望了未來攻擊和防御的發(fā)展趨勢并強調(diào)了構(gòu)建系統(tǒng)性防御的緊迫性。
本書適合人工智能、智能科學與技術(shù)、計算機科學與技術(shù)、軟件工程、信息安全等專業(yè)的高年級本科生、研究生以及人工智能從業(yè)者閱讀。本書中的部分技術(shù)細節(jié)需要讀者具備一定的機器學習基礎(chǔ)。此外，本書大部分的方法介紹都圍繞圖像分類任務(wù)展開，需要讀者具備一定的計算機視覺基礎(chǔ)。本書使用的示例圖和框架圖在盡量尊重原論文的基礎(chǔ)上進行了一定的優(yōu)化，如有不當之處，請聯(lián)系我們更正。
感謝復(fù)旦大學的同學在本書的編寫和校稿過程中提供的幫助，他們包括陳紹祥、宋雪、王錚、傅宇倩、魏志鵬、陳凱、趙世豪、呂熠強、訾柏嘉、錢天文、張星、常明昊、翁澤佳、王君可、翟坤、王欣、阮子禪、張超、林朝坤等。此外，感謝黃瀚珣博士和李一戈博士在此書寫作過程中參與了討論。
由于作者水平有限，書中內(nèi)容難免會存在不足，歡迎各位讀者提出寶貴的意見和建議。