◆ 推薦序◆ 很高興為邱錫鵬教授的《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》一書寫序． 近年來由于阿爾法圍棋戰(zhàn)勝人類頂級(jí)高手新聞的轟動(dòng)效應(yīng)，讓人工智能一下子進(jìn)入了尋常百姓家，成為家喻戶曉的熱詞．阿爾法圍棋能取得如此成功的關(guān)鍵技術(shù)之一，正是所謂的深度學(xué)習(xí)．而其實(shí)在阿爾法圍棋出現(xiàn)之前，以深度學(xué)習(xí)為代表的人工智能技術(shù)已經(jīng)在模式識(shí)別、計(jì)算機(jī)視覺、語音識(shí)別與生成、自然語言處理、機(jī)器翻譯等方面取得了重要的進(jìn)步．也因此，2018年有計(jì)算機(jī)領(lǐng)域諾貝爾獎(jiǎng)之稱的圖靈獎(jiǎng)?lì)C給了對(duì)深度學(xué)習(xí)作出重要貢獻(xiàn)的三位科學(xué)家：YoshuaBengio、GeoffeyHinton和YannLeCun． 邱錫鵬教授的《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》一書較全面地介紹了神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的基本概念、模型和方法，同時(shí)也涉及深度學(xué)習(xí)中許多最新進(jìn)展．書后還提供了相關(guān)數(shù)學(xué)分支的簡要介紹，以供讀者需要時(shí)參考． 本書電子版已在GitHub上開放共享，得到廣泛好評(píng)，相信此書的出版可以給有意了解或進(jìn)入這一頗有前途領(lǐng)域的讀者提供一本很好的參考書．基本的深度學(xué)習(xí)相當(dāng)于函數(shù)逼近問題，即函數(shù)或曲面的擬合，所不同的是，這里用作基函數(shù)的是非線性的神經(jīng)網(wǎng)絡(luò)函數(shù)，而原來數(shù)學(xué)中用的則是多項(xiàng)式、三角多項(xiàng)式、B-spline、一般spline以及小波函數(shù)等的線性組合． 由于神經(jīng)網(wǎng)絡(luò)的非線性和復(fù)雜性（要用許多結(jié)構(gòu)參數(shù)和連接權(quán)值來描述），它有更強(qiáng)的表達(dá)能力，即從給定的神經(jīng)網(wǎng)絡(luò)函數(shù)族中可能找到對(duì)特定數(shù)據(jù)集擬合得更好的神經(jīng)網(wǎng)絡(luò)．相信這正是深度學(xué)習(xí)方法能得到一系列很好結(jié)果的重要原因．直觀上很清楚，當(dāng)你有更多的選擇時(shí)，你有可能作出更好的選擇．當(dāng)然，要從非常非常多的選擇中找到那個(gè)更好的選擇并不容易． 這里既涉及設(shè)計(jì)合適的神經(jīng)網(wǎng)絡(luò)類型，也涉及從該類型的神經(jīng)網(wǎng)絡(luò)中找出好的（即擬合誤差小的）特定神經(jīng)網(wǎng)絡(luò)的方法．后者正是數(shù)學(xué)中最優(yōu)化分支所研究的問題．從數(shù)學(xué)角度看，目前深度學(xué)習(xí)中所用的優(yōu)化算法還是屬于比較簡單的梯度下降法．許多數(shù)學(xué)中已有的更復(fù)雜的算法，由于高維數(shù)問題都還沒有得到應(yīng)用．本書中對(duì)這兩方面都有很好的介紹．相信隨著研究的不斷發(fā)展，今后一定會(huì)提出更多新的神經(jīng)網(wǎng)絡(luò)和新的優(yōu)化算法． 所謂成也蕭何敗也蕭何，神經(jīng)網(wǎng)絡(luò)的非線性和復(fù)雜性（即要用大量參數(shù)來描述，在深度網(wǎng)絡(luò)場合其個(gè)數(shù)動(dòng)輒上萬、百萬甚至更多）使得雖然通過大量的標(biāo)注數(shù)據(jù)經(jīng)過深度學(xué)習(xí)可以得到一個(gè)結(jié)果誤差很小的神經(jīng)網(wǎng)絡(luò)，但要用它來進(jìn)行解釋卻十分困難．其實(shí)這也是長期困擾神經(jīng)網(wǎng)絡(luò)方法的一個(gè)問題，使用深度神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法也概莫能外． 難于解釋相當(dāng)于知其然不知其所以然．這對(duì)有些應(yīng)用而言是可以的，但對(duì)有些可能造成嚴(yán)重后果的應(yīng)用而言則有很大問題．一般而言，人們除了希望知其然，也會(huì)希望能知其所以然． 近來也有學(xué)者發(fā)現(xiàn)，一個(gè)精度很高的神經(jīng)網(wǎng)絡(luò)，去改變它的幾個(gè)（甚至一個(gè)）參數(shù)，就會(huì)使該網(wǎng)絡(luò)的性能下降許多．換言之，深度學(xué)習(xí)方法的魯棒性也有待研究． 總之，本書介紹的基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法是近年來經(jīng)過大量實(shí)踐并取得很好成果的一種很通用的方法，也是近年來人工智能領(lǐng)域中最活躍的分支之一．相信無論在方法本身的發(fā)展上，抑或在新領(lǐng)域應(yīng)用的研發(fā)上，都會(huì)呈現(xiàn)出一派欣欣向榮的氣象． 吳立德 于上�！�復(fù)旦大學(xué) 2019年8月17日 ◆ 前言◆ 近年來，以機(jī)器學(xué)習(xí)、知識(shí)圖譜為代表的人工智能技術(shù)逐漸變得普及．從車牌識(shí)別、人臉識(shí)別、語音識(shí)別、智能助手、推薦系統(tǒng)到自動(dòng)駕駛，人們在日常生活中都可能有意無意地用到了人工智能技術(shù)．這些技術(shù)的背后都離不開人工智能領(lǐng)域研究者的長期努力．特別是最近這幾年，得益于數(shù)據(jù)的增多、計(jì)算能力的增強(qiáng)、學(xué)習(xí)算法的成熟以及應(yīng)用場景的豐富，越來越多的人開始關(guān)注這個(gè)“嶄新”的研究領(lǐng)域：深度學(xué)習(xí)．深度學(xué)習(xí)以神經(jīng)網(wǎng)絡(luò)為主要模型，一開始用來解決機(jī)器學(xué)習(xí)中的表示學(xué)習(xí)問題．但是由于其強(qiáng)大的能力，深度學(xué)習(xí)越來越多地用來解決一些通用人工智能問題，比如推理、決策等．目前，深度學(xué)習(xí)技術(shù)在學(xué)術(shù)界和工業(yè)界取得了廣泛的成功，受到高度重視，并掀起新一輪的人工智能熱潮． 然而，我們也應(yīng)充分意識(shí)到目前以深度學(xué)習(xí)為核心的各種人工智能技術(shù)和“人類智能”還不能相提并論．深度學(xué)習(xí)需要大量的標(biāo)注數(shù)據(jù)，和人類的學(xué)習(xí)方式差異性很大．雖然深度學(xué)習(xí)取得了很大的成功，但是深度學(xué)習(xí)還不是一種可以解決一系列復(fù)雜問題的通用智能技術(shù)，而是可以解決單個(gè)問題的一系列技術(shù)．比如可以打敗人類的AlphaGo只能下圍棋，而不會(huì)做簡單的算術(shù)運(yùn)算．想要達(dá)到通用人工智能依然困難重重． 本書的寫作目的是使得讀者能夠掌握神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)技術(shù)的基本原理，知其然還要知其所以然．全書共15章．第1章是緒論，概要介紹人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)，使讀者全面了解相關(guān)知識(shí)．第2、3章介紹機(jī)器學(xué)習(xí)的基礎(chǔ)知識(shí)．第4～6章分別講述三種主要的神經(jīng)網(wǎng)絡(luò)模型：前饋神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)．第7章介紹神經(jīng)網(wǎng)絡(luò)的優(yōu)化與正則化方法．第8章介紹神經(jīng)網(wǎng)絡(luò)中的注意力機(jī)制和外部記憶．第9章簡要介紹一些無監(jiān)督學(xué)習(xí)方法．第10章介紹一些模型獨(dú)立的機(jī)器學(xué)習(xí)方法：集成學(xué)習(xí)、自訓(xùn)練和協(xié)同訓(xùn)練、多任務(wù)學(xué)習(xí)、遷移學(xué)習(xí)、終身學(xué)習(xí)、元學(xué)習(xí)等，這些都是目前深度學(xué)習(xí)的難點(diǎn)和熱點(diǎn)問題．第11章介紹概率圖模型的基本概念，為后面的章節(jié)進(jìn)行鋪墊．第12章介紹兩種早期的深度學(xué)習(xí)模型：玻爾茲曼機(jī)和深度信念網(wǎng)絡(luò)．第13章介紹最近兩年發(fā)展十分迅速的深度生成模型：變分自編碼器和生成對(duì)抗網(wǎng)絡(luò)．第14章介紹深度強(qiáng)化學(xué)習(xí)的知識(shí)．第15章介紹應(yīng)用十分廣泛的序列生成模型． 2015年復(fù)旦大學(xué)計(jì)算機(jī)學(xué)院開設(shè)了“神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)”課程．講好深度學(xué)習(xí)課程并不是一件容易的事，當(dāng)時(shí)還沒有關(guān)于深度學(xué)習(xí)的系統(tǒng)介紹，而且課程涉及的知識(shí)點(diǎn)非常多并且比較雜亂，和實(shí)踐結(jié)合也十分緊密．作為任課教師，我嘗試梳理了深度學(xué)習(xí)的知識(shí)體系，并寫了一本講義放在網(wǎng)絡(luò)上．雖然現(xiàn)在看起來當(dāng)時(shí)對(duì)深度學(xué)習(xí)的理解仍然十分粗淺，且講義存在很多錯(cuò)誤，但依然受到了很多熱心網(wǎng)友的鼓勵(lì)．2016年年初，機(jī)械工業(yè)出版社華章公司的姚蕾編輯多次拜訪并希望我能將這個(gè)講義整理成書．我一方面被姚蕾編輯的誠意打動(dòng)，另一方面也確實(shí)感到應(yīng)該有一本面向在校學(xué)生和相關(guān)從業(yè)人員的關(guān)于深度學(xué)習(xí)的專門書籍，因此最終有了正式出版的意愿．但我依然低估了寫書的難度，一方面是深度學(xué)習(xí)的發(fā)展十分迅速，而自己關(guān)于深度學(xué)習(xí)的認(rèn)知也在不斷變化，導(dǎo)致已寫好的內(nèi)容經(jīng)常需要修改；另一方面是平時(shí)的科研工作十分繁忙，很難抽出大段的時(shí)間來靜心寫作，因此斷斷續(xù)續(xù)的寫作一直拖延至今． 我理想中著書立說的境界是在某一個(gè)領(lǐng)域有自己的理論體系，將各式各樣的方法都統(tǒng)一到自己的體系下，并可以容納大多數(shù)技術(shù)，從新的角度來重新解釋這些技術(shù)．本書顯然還達(dá)不到這樣的水平，但希望能結(jié)合自身的經(jīng)驗(yàn)，對(duì)神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的相關(guān)知識(shí)進(jìn)行梳理、總結(jié)，通過寫書這一途徑，也促使自己能夠更加深入地理解深度學(xué)習(xí)這一領(lǐng)域，提高自身的理論水平． 本書能夠完成，首先感謝我的導(dǎo)師吳立德教授，他對(duì)深度學(xué)習(xí)的獨(dú)到見解和深入淺出的講授，使得我對(duì)深度學(xué)習(xí)有了更深層次的認(rèn)識(shí)，也感謝復(fù)旦大學(xué)計(jì)算機(jī)學(xué)院的黃萱菁教授和薛向陽教授的支持和幫助．本書在寫作時(shí)將書稿放在網(wǎng)絡(luò)上，也得到很多網(wǎng)友的幫助，特別感謝王利鋒、林同茂、張鈞瑞、李浩、胡可鑫、韋鵬輝、徐國海、侯宇蓬、任強(qiáng)、王少敬、肖耀、李鵬等人指出了本書初稿的錯(cuò)誤或提出了富有建設(shè)性的意見．此外，本書在寫作過程中參考了互聯(lián)網(wǎng)上大量的優(yōu)秀資料，如維基百科、知乎、Quora等網(wǎng)站． 另外，我也特別感謝我的家人．本書的寫作占用了大量的業(yè)余時(shí)間，沒有家人的理解和支持，這本書不可能完成． 最后，因?yàn)閭�(gè)人能力有限，書中難免有不當(dāng)和錯(cuò)誤之處，還望讀者海涵和指正，不勝感激． 邱錫鵬 于上海·復(fù)旦大學(xué) 2020年3月31日