關(guān)于我們
書(shū)單推薦
新書(shū)推薦
|
深度學(xué)習(xí)之TensorFlow:入門(mén)、原理與進(jìn)階實(shí)戰(zhàn)
本書(shū)通過(guò)96個(gè)案例,全面講解了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)原理和TensorFlow使用方法。全書(shū)共分為3篇,第1篇深度學(xué)習(xí)與TensorFlow基礎(chǔ),包括快速了解人工智能與TensorFlow、搭建開(kāi)發(fā)環(huán)境、TensorFlow基本開(kāi)發(fā)步驟、TensorFlow編程基礎(chǔ)、識(shí)別圖中模糊的手寫(xiě)數(shù)字等內(nèi)容;第2篇深度學(xué)習(xí)基礎(chǔ)——神經(jīng)網(wǎng)絡(luò),介紹了神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)模型,包括單個(gè)神經(jīng)元、多層神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、自編碼網(wǎng)絡(luò)等內(nèi)容;第3篇深度學(xué)習(xí)進(jìn)階,是對(duì)基礎(chǔ)網(wǎng)絡(luò)模型的靈活運(yùn)用與自由組合,是對(duì)前面知識(shí)的綜合及拔高,包括深度神經(jīng)網(wǎng)絡(luò)和對(duì)抗神經(jīng)網(wǎng)絡(luò)兩章內(nèi)容。本書(shū)特別適合TensorFlow深度學(xué)習(xí)的初學(xué)者和進(jìn)階讀者閱讀,也適合社會(huì)培訓(xùn)班和各大院校對(duì)深度學(xué)習(xí)有興趣的學(xué)生閱讀。
最近,人工智能話題熱度不減,IT領(lǐng)域甚至言必稱之。
從人工智能的技術(shù)突破看,在語(yǔ)音和圖像識(shí)別等方面,在特定領(lǐng)域和特定類別下,計(jì)算機(jī)的處理能力已經(jīng)接近甚至超過(guò)人類。此外,人工智能在人們傳統(tǒng)認(rèn)為很難由機(jī)器取得成功的認(rèn)知領(lǐng)域也有所突破。
我國(guó)目前在人工智能技術(shù)研究方面已經(jīng)走在了世界前列,人工智能應(yīng)用領(lǐng)域已經(jīng)非常寬廣,涵蓋了從智能機(jī)器人到智能醫(yī)療、智能安防、智能家居和智慧城市,再到語(yǔ)音識(shí)別、手勢(shì)控制和自動(dòng)駕駛等領(lǐng)域。
百度CEO李彥宏判斷:人工智能是一個(gè)非常大的產(chǎn)業(yè),會(huì)持續(xù)很長(zhǎng)時(shí)間,在未來(lái)的20年到50年間都會(huì)是快速發(fā)展的。
人工智能“火”起來(lái)主要有3個(gè)原因:互聯(lián)網(wǎng)大量的數(shù)據(jù)、強(qiáng)大的運(yùn)算能力、深度學(xué)習(xí)的突破。其中,深度學(xué)習(xí)是機(jī)器學(xué)習(xí)方法之一,是讓計(jì)算機(jī)從周圍世界或某個(gè)特定方面的范例中進(jìn)行學(xué)習(xí)從而變得更加智能的一種方式。
面對(duì)人工智能如火如荼的發(fā)展趨勢(shì),IT領(lǐng)域也掀起了一波深度學(xué)習(xí)熱潮,但是其海量的應(yīng)用數(shù)學(xué)術(shù)語(yǔ)和公式,將不少愛(ài)好者拒之門(mén)外。本書(shū)由淺入深地講解了深度學(xué)習(xí)的知識(shí)體系,將專業(yè)性較強(qiáng)的公式和理論轉(zhuǎn)化成通俗易懂的簡(jiǎn)單邏輯描述語(yǔ)言,幫助非數(shù)學(xué)專業(yè)的愛(ài)好者搭上人工智能的“列車”。
本書(shū)特色 1.配教學(xué)視頻 為了讓讀者更好地學(xué)習(xí)本書(shū)內(nèi)容,作者對(duì)每一章內(nèi)容都錄制了教學(xué)視頻。借助這些視頻,讀者可以更輕松地學(xué)習(xí)。
2.大量的典型應(yīng)用實(shí)例,實(shí)戰(zhàn)性強(qiáng),有較高的應(yīng)用價(jià)值 本書(shū)提供了96個(gè)深度學(xué)習(xí)相關(guān)的網(wǎng)絡(luò)模型實(shí)例,將原理的講解最終都落實(shí)到了代碼實(shí)現(xiàn)上。而且這些實(shí)例會(huì)隨著圖書(shū)內(nèi)容的推進(jìn),不斷趨近于工程化的項(xiàng)目,具有很高的應(yīng)用價(jià)值和參考性。
3.完整的源代碼和訓(xùn)練數(shù)據(jù)集 書(shū)中所有的代碼都提供了免費(fèi)下載途徑,使讀者學(xué)習(xí)更方便。另外,讀者可以方便地獲得書(shū)中案例的訓(xùn)練數(shù)據(jù)集。如果數(shù)據(jù)集是來(lái)源于網(wǎng)站,則提供了有效的下載鏈接;如果是作者制作的,在隨書(shū)資源中可直接找到。
4.由淺入深、循序漸進(jìn)的知識(shí)體系,通俗易懂的語(yǔ)言 本書(shū)按照讀者的接受度搭建知識(shí)體系,由淺入深、循序漸進(jìn),并盡最大可能地將學(xué)術(shù)語(yǔ)言轉(zhuǎn)化為容易讓讀者理解的語(yǔ)言。
5.拒絕生僻公式和符號(hào),落地性強(qiáng) 在文字表達(dá)上,本書(shū)也盡量使用計(jì)算機(jī)語(yǔ)言編寫(xiě)的代碼來(lái)表述對(duì)應(yīng)的數(shù)學(xué)公式,這樣即使不習(xí)慣用數(shù)學(xué)公式的讀者,也能夠容易地理解。
6.內(nèi)容全面,應(yīng)用性強(qiáng) 本書(shū)提供了從單個(gè)神經(jīng)元到對(duì)抗神經(jīng)網(wǎng)絡(luò),從有監(jiān)督學(xué)習(xí)到半監(jiān)督學(xué)習(xí),從簡(jiǎn)單的數(shù)據(jù)分類到語(yǔ)音、語(yǔ)言、圖像分類乃至樣本生成等一系列前沿技術(shù),具有超強(qiáng)的實(shí)用性,讀者可以隨時(shí)查閱和參考。
7.大量寶貴經(jīng)驗(yàn)的分享 授之以魚(yú)不如授之以漁。本書(shū)在講解知識(shí)點(diǎn)的時(shí)候,更注重方法與經(jīng)驗(yàn)的傳遞。全書(shū)共有幾十個(gè)“注意”標(biāo)簽,其中內(nèi)容都是“含金量”很高的成功經(jīng)驗(yàn)分享與易錯(cuò)事項(xiàng)總結(jié),有關(guān)于理論理解的,有關(guān)于操作細(xì)節(jié)的。這些內(nèi)容可以幫助讀者在學(xué)習(xí)的路途上披荊斬棘,快速融會(huì)貫通。
本書(shū)內(nèi)容 第1篇 深度學(xué)習(xí)與TensorFlow基礎(chǔ)(第1~5章) 第1章快速了解人工智能與TensorFlow,主要介紹了以下內(nèi)容:
。1)人工智能、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)三者之間的關(guān)系,TensorFlow軟件與深度學(xué)習(xí)之間的關(guān)系及其特點(diǎn); (2)其他主流深度學(xué)習(xí)框架的特點(diǎn); 。3)一些關(guān)于如何學(xué)習(xí)深度學(xué)習(xí)和使用本書(shū)的建議。
第2章搭建開(kāi)發(fā)環(huán)境,介紹了如何搭建TensorFlow開(kāi)發(fā)環(huán)境。具體包括:
(1)TensorFlow的下載及在不同平臺(tái)上的安裝方法; (2)TensorFlow開(kāi)發(fā)工具(本書(shū)用的是Anaconda開(kāi)發(fā)工具)的下載、安裝和使用。
如要安裝GPU版的TensorFlow,書(shū)中也詳細(xì)介紹了如何安裝CUDA驅(qū)動(dòng)來(lái)支持GPU運(yùn)算。
第3章TensorFlow基本開(kāi)發(fā)步驟——以邏輯回歸擬合二維數(shù)據(jù)為例,首先是一個(gè)案例,有一組數(shù)據(jù),通過(guò)TensorFlow搭配模型并訓(xùn)練模型,讓模型找出其中y≈2x的規(guī)律。在這個(gè)案例的基礎(chǔ)上,引出了在神經(jīng)網(wǎng)絡(luò)中“模型”的概念,并介紹了TensorFlow開(kāi)發(fā)一個(gè)模型的基本步驟。
第4章TensorFlow編程基礎(chǔ),主要介紹了TensorFlow框架中編程的基礎(chǔ)知識(shí)。具體包括:
(1)編程模型的系統(tǒng)介紹; 。2)TensorFlow基礎(chǔ)類型及操作函數(shù); (3)共享變量的作用及用法; (4)與“圖”相關(guān)的一些基本操作; (5)分布式配置TensorFlow的方法。
第5章識(shí)別圖中模糊的手寫(xiě)數(shù)字(實(shí)例21),是一個(gè)完整的圖像識(shí)別實(shí)例,使用TensorFlow構(gòu)建并訓(xùn)練了一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型,該模型能識(shí)別出圖片中模糊的手寫(xiě)數(shù)字5、0、4、1。通過(guò)這個(gè)實(shí)例,讀者一方面可以鞏固第4章所學(xué)的TensorFlow編程基礎(chǔ)知識(shí),另一方面也對(duì)神經(jīng)網(wǎng)絡(luò)有一個(gè)大體的了解,并掌握最簡(jiǎn)單的圖像識(shí)別方法。
第2篇 深度學(xué)習(xí)基礎(chǔ)——神經(jīng)網(wǎng)絡(luò)中(第6~10章) 第6章單個(gè)神經(jīng)元,介紹了神經(jīng)網(wǎng)絡(luò)中最基礎(chǔ)的單元。首先講解了神經(jīng)元的擬合原理,然后分別介紹了模型優(yōu)化所需的一些關(guān)鍵技術(shù):
* 激活函數(shù)——加入非線性因素,解決線性模型缺陷;* softmax算法——處理分類問(wèn)題;* 損失函數(shù)——用真實(shí)值與預(yù)測(cè)值的距離來(lái)指導(dǎo)模型的收斂方向;* 梯度下降——讓模型逼近最小偏差;* 初始化學(xué)習(xí)參數(shù)。
最后還介紹了在單個(gè)神經(jīng)元基礎(chǔ)上擴(kuò)展的網(wǎng)絡(luò)——Maxout。
第7章多層神經(jīng)網(wǎng)絡(luò)——解決非線性問(wèn)題,先通過(guò)兩個(gè)例子(分辨良性與惡性腫瘤、將數(shù)據(jù)按顏色分為3類)來(lái)說(shuō)明線性問(wèn)題,進(jìn)而引出非線性問(wèn)題。然后介紹了如何使用多個(gè)神經(jīng)元組成的全連接網(wǎng)絡(luò)進(jìn)行非線性問(wèn)題的分類。最后介紹了全連接網(wǎng)絡(luò)在訓(xùn)練中常用的優(yōu)化技巧:正則化、增大數(shù)據(jù)集和Dropout等。
第8章卷積神經(jīng)網(wǎng)絡(luò)——解決參數(shù)太多問(wèn)題,通過(guò)分析全連接網(wǎng)絡(luò)的局限性,引出卷積神經(jīng)網(wǎng)絡(luò)。首先分別介紹了卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和函數(shù),并通過(guò)一個(gè)綜合的圖片分類實(shí)例介紹了卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用。接著介紹了反卷積神經(jīng)網(wǎng)絡(luò)的原理,并通過(guò)多個(gè)實(shí)例介紹了反卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用。最后通過(guò)多個(gè)實(shí)例介紹了深度學(xué)習(xí)中模型訓(xùn)練的一些技巧。
第9章循環(huán)神經(jīng)網(wǎng)絡(luò)——具有記憶功能的網(wǎng)絡(luò),本章先解釋了人腦記憶,從而引出了機(jī)器學(xué)習(xí)中具有類似功能的循環(huán)神經(jīng)網(wǎng)絡(luò),介紹了循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的工作原理,并通過(guò)實(shí)例介紹了簡(jiǎn)單RNN的一些應(yīng)用。接著介紹了RNN的一些改進(jìn)技術(shù),如LSTM、GRU和BiRNN等,并通過(guò)大量的實(shí)例,介紹了如何通過(guò)TensorFlow實(shí)現(xiàn)RNN的應(yīng)用。從9.5節(jié)起,用了大量的篇幅介紹RNN在語(yǔ)音識(shí)別和語(yǔ)言處理方面的應(yīng)用,先介紹幾個(gè)案例——利用BiRNN實(shí)現(xiàn)語(yǔ)音識(shí)別、利用RNN訓(xùn)練語(yǔ)言模型及語(yǔ)言模型的系統(tǒng)學(xué)習(xí)等,然后將前面的內(nèi)容整合成一個(gè)功能更完整的機(jī)器人,它可以實(shí)現(xiàn)中英文翻譯和聊天功能。讀者還可以再擴(kuò)展該機(jī)器人的功能,如實(shí)現(xiàn)對(duì)對(duì)聯(lián)、講故事、生成文章摘要等功能。
第10章自編碼網(wǎng)絡(luò)——能夠自學(xué)習(xí)樣本特征的網(wǎng)絡(luò),首先從一個(gè)最簡(jiǎn)單的自編碼網(wǎng)絡(luò)講起,介紹其網(wǎng)絡(luò)結(jié)構(gòu)和具體的代碼實(shí)現(xiàn)。然后分別介紹了去噪自編碼、棧式自編碼、變分自編碼和條件變分自編碼等網(wǎng)絡(luò)結(jié)構(gòu),并且在講解每一種結(jié)構(gòu)時(shí)都配有對(duì)應(yīng)的實(shí)例。
第3篇 深度學(xué)習(xí)進(jìn)階(第11、12章) 第11章深度神經(jīng)網(wǎng)絡(luò),從深度神經(jīng)網(wǎng)絡(luò)的起源開(kāi)始,逐步講解了深度神經(jīng)網(wǎng)絡(luò)的歷史發(fā)展過(guò)程和一些經(jīng)典模型,并分別詳細(xì)介紹了這些經(jīng)典模型的特點(diǎn)及內(nèi)部原理。接著詳細(xì)介紹了使用slim圖片分類模型庫(kù)進(jìn)行圖像識(shí)別和圖像檢測(cè)的兩個(gè)實(shí)例。最后介紹了實(shí)物檢測(cè)領(lǐng)域的其他一些相關(guān)模型。
第12章對(duì)抗神經(jīng)網(wǎng)絡(luò),從對(duì)抗神經(jīng)網(wǎng)絡(luò)(GAN)的理論開(kāi)始,分別介紹了DCGAN、AEGAN、InfoGAN、ACGAN、WGAN、LSGAN和SRGAN等多種GAN的模型及應(yīng)用,并通過(guò)實(shí)例演示了生成指定模擬樣本和超分辨率重建的過(guò)程。
本書(shū)讀者對(duì)象* 深度學(xué)習(xí)初學(xué)者;* 人工智能初學(xué)者;* 深度學(xué)習(xí)愛(ài)好者;* 人工智能工程師;* TensorFlow初級(jí)開(kāi)發(fā)人員;* 需要提高動(dòng)手能力的深度學(xué)習(xí)技術(shù)人員;* 名大院校的相關(guān)學(xué)生。
關(guān)于作者 本書(shū)由李金洪主筆編寫(xiě)。其他參與本書(shū)編寫(xiě)的人員還有馬峰、孫朝暉、鄭一友、王其景、張弨、白林、彭詠文、宋文利。
另外,吳宏偉先生也參與了本書(shū)后期的編寫(xiě)工作,為本書(shū)做了大量的細(xì)節(jié)調(diào)整。因?yàn)橛辛怂闹鹱滞魄煤鸵唤z不茍,才使得本書(shū)行文更加通暢和通俗易懂。在此表示深深的感謝!
雖然我們對(duì)書(shū)中所述內(nèi)容都盡量核實(shí),并多次進(jìn)行了文字校對(duì),但因時(shí)間所限,加之水平所限,書(shū)中疏漏和錯(cuò)誤在所難免,敬請(qǐng)廣大讀者批評(píng)指正。聯(lián)系我們可以加入本書(shū)討論QQ群40016981,也可發(fā)E-mail到hzbook2017@163.com。
目錄
配套學(xué)習(xí)資源
前言
第1篇 深度學(xué)習(xí)與TensorFlow基礎(chǔ)
第1章 快速了解人工智能與TensorFlow2
1.1 什么是深度學(xué)習(xí)2
1.2 TensorFlow是做什么的3
1.3 TensorFlow的特點(diǎn)4
1.4 其他深度學(xué)習(xí)框架特點(diǎn)及介紹5
1.5 如何通過(guò)本書(shū)學(xué)好深度學(xué)習(xí)6
1.5.1 深度學(xué)習(xí)怎么學(xué)6
1.5.2 如何學(xué)習(xí)本書(shū)7
第2章 搭建開(kāi)發(fā)環(huán)境8
2.1 下載及安裝Anaconda開(kāi)發(fā)工具8
2.2 在Windows平臺(tái)下載及安裝TensorFlow11
2.3 GPU版本的安裝方法12
2.3.1 安裝CUDA軟件包12
2.3.2 安裝cuDNN庫(kù)13
2.3.3 測(cè)試顯卡14
2.4 熟悉Anaconda 3開(kāi)發(fā)工具15
2.4.1 快速了解Spyder16
2.4.2 快速了解Jupyter Notebook18
第3章 TensorFlow基本開(kāi)發(fā)步驟——以邏輯回歸擬合二維數(shù)據(jù)為例19
3.1 實(shí)例1:從一組看似混亂的數(shù)據(jù)中找出y≈2x的規(guī)律19
3.1.1 準(zhǔn)備數(shù)據(jù)20
3.1.2 搭建模型21
3.1.3 迭代訓(xùn)練模型23
3.1.4 使用模型25
3.2 模型是如何訓(xùn)練出來(lái)的25
3.2.1 模型里的內(nèi)容及意義25
3.2.2 模型內(nèi)部的數(shù)據(jù)流向26
3.3 了解TensorFlow開(kāi)發(fā)的基本步驟27
3.3.1 定義輸入節(jié)點(diǎn)的方法27
3.3.2 實(shí)例2:通過(guò)字典類型定義輸入節(jié)點(diǎn)28
3.3.3 實(shí)例3:直接定義輸入節(jié)點(diǎn)28
3.3.4 定義“學(xué)習(xí)參數(shù)”的變量29
3.3.5 實(shí)例4:通過(guò)字典類型定義“學(xué)習(xí)參數(shù)”29
3.3.6 定義“運(yùn)算”29
3.3.7 優(yōu)化函數(shù),優(yōu)化目標(biāo)30
3.3.8 初始化所有變量30
3.3.9 迭代更新參數(shù)到最優(yōu)解31
3.3.10 測(cè)試模型31
3.3.11 使用模型31
第4章 TensorFlow編程基礎(chǔ)32
4.1 編程模型32
4.1.1 了解模型的運(yùn)行機(jī)制33
4.1.2 實(shí)例5:編寫(xiě)hello world程序演示session的使用34
4.1.3 實(shí)例6:演示with session的使用35
4.1.4 實(shí)例7:演示注入機(jī)制35
4.1.5 建立session的其他方法36
4.1.6 實(shí)例8:使用注入機(jī)制獲取節(jié)點(diǎn)36
4.1.7 指定GPU運(yùn)算37
4.1.8 設(shè)置GPU使用資源37
4.1.9 保存和載入模型的方法介紹38
4.1.10 實(shí)例9:保存/載入線性回歸模型38
4.1.11 實(shí)例10:分析模型內(nèi)容,演示模型的其他保存方法40
4.1.12 檢查點(diǎn)(Checkpoint)41
4.1.13 實(shí)例11:為模型添加保存檢查點(diǎn)41
4.1.14 實(shí)例12:更簡(jiǎn)便地保存檢查點(diǎn)44
4.1.15 模型操作常用函數(shù)總結(jié)45
4.1.16 TensorBoard可視化介紹45
4.1.17 實(shí)例13:線性回歸的TensorBoard可視化46
4.2 TensorFlow基礎(chǔ)類型定義及操作函數(shù)介紹48
4.2.1 張量及操作49
4.2.2 算術(shù)運(yùn)算函數(shù)55
4.2.3 矩陣相關(guān)的運(yùn)算56
4.2.4 復(fù)數(shù)操作函數(shù)58
4.2.5 規(guī)約計(jì)算59
4.2.6 分割60
4.2.7 序列比較與索引提取61
4.2.8 錯(cuò)誤類62
4.3 共享變量62
4.3.1 共享變量用途62
4.3.2 使用get-variable獲取變量63
4.3.3 實(shí)例14:演示get_variable和Variable的區(qū)別63
4.3.4 實(shí)例15:在特定的作用域下獲取變量65
4.3.5 實(shí)例16:共享變量功能的實(shí)現(xiàn)66
4.3.6 實(shí)例17:初始化共享變量的作用域67
4.3.7 實(shí)例18:演示作用域與操作符的受限范圍68
4.4 實(shí)例19:圖的基本操作70
4.4.1 建立圖70
4.4.2 獲取張量71
4.4.3 獲取節(jié)點(diǎn)操作72
4.4.4 獲取元素列表73
4.4.5 獲取對(duì)象73
4.4.6 練習(xí)題74
4.5 配置分布式TensorFlow74
4.5.1 分布式TensorFlow的角色及原理74
4.5.2 分布部署TensorFlow的具體方法75
4.5.3 實(shí)例20:使用TensorFlow實(shí)現(xiàn)分布式部署訓(xùn)練75
4.6 動(dòng)態(tài)圖(Eager)81
4.7 數(shù)據(jù)集(tf.data)82
第5章 識(shí)別圖中模糊的手寫(xiě)數(shù)字(實(shí)例21)83
5.1 導(dǎo)入圖片數(shù)據(jù)集84
5.1.1 MNIST數(shù)據(jù)集介紹84
5.1.2 下載并安裝MNIST數(shù)據(jù)集85
5.2 分析圖片的特點(diǎn),定義變量87
5.3 構(gòu)建模型87
5.3.1 定義學(xué)習(xí)參數(shù)87
5.3.2 定義輸出節(jié)點(diǎn)88
5.3.3 定義反向傳播的結(jié)構(gòu)88
5.4 訓(xùn)練模型并輸出中間狀態(tài)參數(shù)89
5.5 測(cè)試模型90
5.6 保存模型91
5.7 讀取模型92
第2篇 深度學(xué)習(xí)基礎(chǔ)——神經(jīng)網(wǎng)絡(luò)
第6章 單個(gè)神經(jīng)元96
6.1 神經(jīng)元的擬合原理96
6.1.1 正向傳播98
6.1.2 反向傳播98
6.2 激活函數(shù)——加入非線性因素,解決線性模型缺陷99
6.2.1 Sigmoid函數(shù)99
6.2.2 Tanh函數(shù)100
6.2.3 ReLU函數(shù)101
6.2.4 Swish函數(shù)103
6.2.5 激活函數(shù)總結(jié)103
6.3 softmax算法——處理分類問(wèn)題103
6.3.1 什么是softmax104
6.3.2 softmax原理104
6.3.3 常用的分類函數(shù)105
6.4 損失函數(shù)——用真實(shí)值與預(yù)測(cè)值的距離來(lái)指導(dǎo)模型的收斂方向105
6.4.1 損失函數(shù)介紹105
6.4.2 TensorFlow中常見(jiàn)的loss函數(shù)106
6.5 softmax算法與損失函數(shù)的綜合應(yīng)用108
6.5.1 實(shí)例22:交叉熵實(shí)驗(yàn)108
6.5.2 實(shí)例23:one_hot實(shí)驗(yàn)109
6.5.3 實(shí)例24:sparse交叉熵的使用110
6.5.4 實(shí)例25:計(jì)算loss值110
6.5.5 練習(xí)題111
6.6 梯度下降——讓模型逼近最小偏差111
6.6.1 梯度下降的作用及分類111
6.6.2 TensorFlow中的梯度下降函數(shù)112
6.6.3 退化學(xué)習(xí)率——在訓(xùn)練的速度與精度之間找到平衡113
6.6.4 實(shí)例26:退化學(xué)習(xí)率的用法舉例114
6.7 初始化學(xué)習(xí)參數(shù)115
6.8 單個(gè)神經(jīng)元的擴(kuò)展——Maxout網(wǎng)絡(luò)116
6.8.1 Maxout介紹116
6.8.2 實(shí)例27:用Maxout網(wǎng)絡(luò)實(shí)現(xiàn)MNIST分類117
6.9 練習(xí)題118
第7章 多層神經(jīng)網(wǎng)絡(luò)——解決非線性問(wèn)題119
7.1 線性問(wèn)題與非線性問(wèn)題119
7.1.1 實(shí)例28:用線性單分邏輯回歸分析腫瘤是良性還是惡性的119
7.1.2 實(shí)例29:用線性邏輯回歸處理多分類問(wèn)題123
7.1.3 認(rèn)識(shí)非線性問(wèn)題129
7.2 使用隱藏層解決非線性問(wèn)題130
7.2.1 實(shí)例30:使用帶隱藏層的神經(jīng)網(wǎng)絡(luò)擬合異或操作130
7.2.2 非線性網(wǎng)絡(luò)的可視化及其意義133
7.2.3 練習(xí)題135
7.3 實(shí)例31:利用全連接網(wǎng)絡(luò)將圖片進(jìn)行分類136
7.4 全連接網(wǎng)絡(luò)訓(xùn)練中的優(yōu)化技巧137
7.4.1 實(shí)例32:利用異或數(shù)據(jù)集演示過(guò)擬合問(wèn)題138
7.4.2 正則化143
7.4.3 實(shí)例33:通過(guò)正則化改善過(guò)擬合情況144
7.4.4 實(shí)例34:通過(guò)增大數(shù)據(jù)集改善過(guò)擬合145
7.4.5 練習(xí)題146
7.4.6 dropout——訓(xùn)練過(guò)程中,將部分神經(jīng)單元暫時(shí)丟棄146
7.4.7 實(shí)例35:為異或數(shù)據(jù)集模型添加dropout147
7.4.8 實(shí)例36:基于退化學(xué)習(xí)率dropout技術(shù)來(lái)擬合異或數(shù)據(jù)集149
7.4.9 全連接網(wǎng)絡(luò)的深淺關(guān)系150
7.5 練習(xí)題150
第8章 卷積神經(jīng)網(wǎng)絡(luò)——解決參數(shù)太多問(wèn)題151
8.1 全連接網(wǎng)絡(luò)的局限性151
8.2 理解卷積神經(jīng)網(wǎng)絡(luò)152
8.3 網(wǎng)絡(luò)結(jié)構(gòu)153
8.3.1 網(wǎng)絡(luò)結(jié)構(gòu)描述153
8.3.2 卷積操作155
8.3.3 池化層157
8.4 卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)函數(shù)158
8.4.1 卷積函數(shù)tf.nn.conv2d158
8.4.2 padding規(guī)則介紹159
8.4.3 實(shí)例37:卷積函數(shù)的使用160
8.4.4 實(shí)例38:使用卷積提取圖片的輪廓165
8.4.5 池化函數(shù)tf.nn.max_pool(avg_pool)167
8.4.6 實(shí)例39:池化函數(shù)的使用167
8.5 使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖片分類170
8.5.1 CIFAR介紹171
8.5.2 下載CIFAR數(shù)據(jù)172
8.5.3 實(shí)例40:導(dǎo)入并顯示CIFAR數(shù)據(jù)集173
8.5.4 實(shí)例41:顯示CIFAR數(shù)據(jù)集的原始圖片174
8.5.5 cifar10_input的其他功能176
8.5.6 在TensorFlow中使用queue176
8.5.7 實(shí)例42:協(xié)調(diào)器的用法演示178
8.5.8 實(shí)例43:為session中的隊(duì)列加上協(xié)調(diào)器179
8.5.9 實(shí)例44:建立一個(gè)帶有全局平均池化層的卷積神經(jīng)網(wǎng)絡(luò)180
8.5.10 練習(xí)題183
8.6 反卷積神經(jīng)網(wǎng)絡(luò)183
8.6.1 反卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用場(chǎng)景184
8.6.2 反卷積原理184
8.6.3 實(shí)例45:演示反卷積的操作185
8.6.4 反池化原理188
8.6.5 實(shí)例46:演示反池化的操作189
8.6.6 實(shí)例47:演示gradients基本用法192
8.6.7 實(shí)例48:使用gradients對(duì)多個(gè)式子求多變量偏導(dǎo)192
8.6.8 實(shí)例49:演示梯度停止的實(shí)現(xiàn)193
8.7 實(shí)例50:用反卷積技術(shù)復(fù)原卷積網(wǎng)絡(luò)各層圖像195
8.8 善用函數(shù)封裝庫(kù)198
8.8.1 實(shí)例51:使用函數(shù)封裝庫(kù)重寫(xiě)CIFAR卷積網(wǎng)絡(luò)198
8.8.2 練習(xí)題201
8.9 深度學(xué)習(xí)的模型訓(xùn)練技巧201
8.9.1 實(shí)例52:優(yōu)化卷積核技術(shù)的演示201
8.9.2 實(shí)例53:多通道卷積技術(shù)的演示202
8.9.3 批量歸一化204
8.9.4 實(shí)例54:為CIFAR圖片分類模型添加BN207
8.9.5 練習(xí)題209
第9章 循環(huán)神經(jīng)網(wǎng)絡(luò)——具有記憶功能的網(wǎng)絡(luò)210
9.1 了解RNN的工作原理210
9.1.1 了解人的記憶原理210
9.1.2 RNN網(wǎng)絡(luò)的應(yīng)用領(lǐng)域212
9.1.3 正向傳播過(guò)程212
9.1.4 隨時(shí)間反向傳播213
9.2 簡(jiǎn)單RNN215
9.2.1 實(shí)例55:簡(jiǎn)單循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)——裸寫(xiě)一個(gè)退位減法器215
9.2.2 實(shí)例56:使用RNN網(wǎng)絡(luò)擬合回聲信號(hào)序列220
9.3 循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的改進(jìn)225
9.3.1 LSTM網(wǎng)絡(luò)介紹225
9.3.2 窺視孔連接(Peephole)228
9.3.3 帶有映射輸出的STMP230
9.3.4 基于梯度剪輯的cell230
9.3.5 GRU網(wǎng)絡(luò)介紹230
9.3.6 Bi-RNN網(wǎng)絡(luò)介紹231
9.3.7 基于神經(jīng)網(wǎng)絡(luò)的時(shí)序類分類CTC232
9.4 TensorFlow實(shí)戰(zhàn)RNN233
9.4.1 TensorFlow中的cell類233
9.4.2 通過(guò)cell類構(gòu)建RNN234
9.4.3 實(shí)例57:構(gòu)建單層LSTM網(wǎng)絡(luò)對(duì)MNIST數(shù)據(jù)集分類239
9.4.4 實(shí)例58:構(gòu)建單層GRU網(wǎng)絡(luò)對(duì)MNIST數(shù)據(jù)集分類240
9.4.5 實(shí)例59:創(chuàng)建動(dòng)態(tài)單層RNN網(wǎng)絡(luò)對(duì)MNIST數(shù)據(jù)集分類240
9.4.6 實(shí)例60:靜態(tài)多層LSTM對(duì)MNIST數(shù)據(jù)集分類241
9.4.7 實(shí)例61:靜態(tài)多層RNN-LSTM連接GRU對(duì)MNIST數(shù)據(jù)集分類242
9.4.8 實(shí)例62:動(dòng)態(tài)多層RNN對(duì)MNIST數(shù)據(jù)集分類242
9.4.9 練習(xí)題243
9.4.10 實(shí)例63:構(gòu)建單層動(dòng)態(tài)雙向RNN對(duì)MNIST數(shù)據(jù)集分類243
9.4.11 實(shí)例64:構(gòu)建單層靜態(tài)雙向RNN對(duì)MNIST數(shù)據(jù)集分類244
9.4.12 實(shí)例65:構(gòu)建多層雙向RNN對(duì)MNIST數(shù)據(jù)集分類246
9.4.13 實(shí)例66:構(gòu)建動(dòng)態(tài)多層雙向RNN對(duì)MNIST數(shù)據(jù)集分類247
9.4.14 初始化RNN247
9.4.15 優(yōu)化RNN248
9.4.16 實(shí)例67:在GRUCell中實(shí)現(xiàn)LN249
9.4.17 CTC網(wǎng)絡(luò)的loss——ctc_loss251
9.4.18 CTCdecoder254
9.5 實(shí)例68:利用BiRNN實(shí)現(xiàn)語(yǔ)音識(shí)別255
9.5.1 語(yǔ)音識(shí)別背景255
9.5.2 獲取并整理樣本256
9.5.3 訓(xùn)練模型265
9.5.4 練習(xí)題272
9.6 實(shí)例69:利用RNN訓(xùn)練語(yǔ)言模型273
9.6.1 準(zhǔn)備樣本273
9.6.2 構(gòu)建模型275
9.7 語(yǔ)言模型的系統(tǒng)學(xué)習(xí)279
9.7.1 統(tǒng)計(jì)語(yǔ)言模型279
9.7.2 詞向量279
9.7.3 word2vec281
9.7.4 實(shí)例70:用CBOW模型訓(xùn)練自己的word2vec283
9.7.5 實(shí)例71:使用指定侯選采樣本訓(xùn)練word2vec293
9.7.6 練習(xí)題296
9.8 處理
你還可能感興趣
我要評(píng)論
|