第1章 緒論 1
1.1 機(jī)器學(xué)習(xí)的發(fā)展歷程 2
1.2 機(jī)器學(xué)習(xí)的基本術(shù)語(yǔ) 2
1.2.1 特征 3
1.2.2 樣本 3
1.2.3 模型 3
1.2.4 回歸、分類(lèi)與聚類(lèi) 4
1.2.5 泛化與過(guò)擬合 4
1.3 機(jī)器學(xué)習(xí)的基本分類(lèi) 5
1.3.1 監(jiān)督學(xué)習(xí) 5
1.3.2 無(wú)監(jiān)督學(xué)習(xí) 5
1.3.3 半監(jiān)督學(xué)習(xí) 5
1.3.4 深度學(xué)習(xí) 6
1.3.5 強(qiáng)化學(xué)習(xí) 8
1.3.6 機(jī)器學(xué)習(xí)與人工智能 8
1.4 機(jī)器學(xué)習(xí)的應(yīng)用 9
1.4.1 圖像識(shí)別與處理 9
1.4.2 語(yǔ)音識(shí)別與自然語(yǔ)言處理 10
1.4.3 環(huán)境感知與智能決策 11
1.4.4 融合物理信息的工程設(shè)計(jì) 12
1.5 機(jī)器學(xué)習(xí)應(yīng)用的步驟 13
1.5.1 應(yīng)用場(chǎng)景分析 14
1.5.2 數(shù)據(jù)處理 14
1.5.3 特征工程 14
1.5.4 算法模型訓(xùn)練與評(píng)估 15
1.5.5 應(yīng)用服務(wù) 15
1.6 機(jī)器學(xué)習(xí)的評(píng)估方法 15
1.6.1 數(shù)據(jù)集劃分方法 15
1.6.2 性能度量 16
1.7 如何學(xué)習(xí)機(jī)器學(xué)習(xí) 17
1.7.1 由淺入深 17
1.7.2 行成于思 17
第2章 Python語(yǔ)言 18
2.1 為什么選擇Python 18
2.2 安裝Python的環(huán)境 19
2.2.1 Windows下的安裝 19
2.2.2 Linux下的安裝 19
2.2.3 設(shè)置軟件源 20
2.2.4 安裝常用Python庫(kù) 20
2.2.5 安裝PyTorch 20
2.2.6 Conda使用技巧 21
2.3 Jupyter Notebook 21
2.3.1 Jupyter Notebook的主頁(yè)面 22
2.3.2 Jupyter Notebook的快捷鍵 24
2.3.3 Magic關(guān)鍵字 25
2.4 Python基礎(chǔ) 25
2.4.1 變量 26
2.4.2 運(yùn)算符 27
2.4.3 內(nèi)置函數(shù) 28
2.5 print()函數(shù) 29
2.6 數(shù)據(jù)結(jié)構(gòu) 30
2.6.1 列表 31
2.6.2 元組 38
2.6.3 集合 40
2.6.4 字符串 42
2.6.5 字典 46
2.7 控制流語(yǔ)句 48
2.7.1 判斷語(yǔ)句 48
2.7.2 循環(huán)語(yǔ)句 50
2.8 函數(shù) 55
2.8.1 函數(shù)的參數(shù) 55
2.8.2 返回語(yǔ)句 56
2.8.3 默認(rèn)參數(shù) 58
2.8.4 任意數(shù)量的參數(shù) 58
2.8.5 全局變量和局部變量 59
2.8.6 lambda函數(shù) 60
2.9 類(lèi)和對(duì)象 60
2.9.1 成員函數(shù)與變量 61
2.9.2 繼承 64
2.10 小結(jié) 66
2.11 練習(xí)題 66
2.12 在線(xiàn)練習(xí)題 67
第3章 Python常用庫(kù) 68
3.1 NumPy數(shù)值計(jì)算庫(kù) 68
3.1.1 創(chuàng)建NumPy數(shù)組 69
3.1.2 訪(fǎng)問(wèn)數(shù)組元素 73
3.1.3 文件讀寫(xiě) 77
3.1.4 線(xiàn)性代數(shù)函數(shù) 79
3.1.5 數(shù)據(jù)統(tǒng)計(jì) 80
3.1.6 數(shù)組的操作 83
3.2 Matplotlib繪圖庫(kù) 87
3.2.1 多子圖繪制 88
3.2.2 圖像處理 89
3.3 小結(jié) 89
3.4 練習(xí)題 89
3.5 在線(xiàn)練習(xí)題 90
第4章 k最近鄰算法 91
4.1 k最近鄰原理 91
4.1.1 特征距離計(jì)算 92
4.1.2 算法步驟 92
4.2 機(jī)器學(xué)習(xí)的思維模型 93
4.3 數(shù)據(jù)生成 93
4.4 程序?qū)崿F(xiàn) 95
4.5 將kNN算法封裝為類(lèi) 97
4.6 基于sklearn的分類(lèi)實(shí)現(xiàn) 98
4.7 小結(jié) 100
4.8 練習(xí)題 100
4.9 在線(xiàn)練習(xí)題 100
第5章 k均值聚類(lèi)算法 101
5.1 無(wú)監(jiān)督學(xué)習(xí)思想 101
5.2 k均值聚類(lèi)原理 102
5.3 k均值聚類(lèi)算法 103
5.4 算法操作過(guò)程演示 103
5.5 k均值聚類(lèi)算法編程實(shí)現(xiàn) 105
5.6 使用sklearn進(jìn)行聚類(lèi) 109
5.7 評(píng)估聚類(lèi)性能 110
5.7.1 調(diào)整蘭德指數(shù) 110
5.7.2 輪廓系數(shù) 111
5.8 k均值圖像壓縮 112
5.9 小結(jié) 114
5.10 練習(xí)題 115
5.11 在線(xiàn)練習(xí)題 115
第6章 邏輯斯蒂回歸 116
6.1 最小二乘法 116
6.1.1 數(shù)據(jù)生成 116
6.1.2 最小二乘法的數(shù)學(xué)原理 117
6.1.3 最小二乘法的程序?qū)崿F(xiàn) 118
6.2 梯度下降法 119
6.2.1 梯度下降法的原理 119
6.2.2 梯度下降法的實(shí)現(xiàn) 121
6.2.3 迭代可視化 123
6.2.4 梯度下降法的優(yōu)化 124
6.3 多元線(xiàn)性回歸 125
6.3.1 導(dǎo)彈彈道預(yù)測(cè)算法 125
6.3.2 建模與編程求解 126
6.4 使用sklearn庫(kù)進(jìn)行擬合 127
6.5 邏輯斯蒂回歸的原理 128
6.5.1 數(shù)學(xué)模型 129
6.5.2 算法流程 131
6.6 邏輯斯蒂回歸的實(shí)現(xiàn) 131
6.6.1 邏輯斯蒂回歸示例程序 132
6.6.2 使用sklearn解決邏輯斯蒂
回歸問(wèn)題 134
6.6.3 多類(lèi)識(shí)別問(wèn)題 136
6.7 小結(jié) 140
6.8 練習(xí)題 140
6.9 在線(xiàn)練習(xí)題 140
第7章 神經(jīng)網(wǎng)絡(luò) 141
7.1 感知機(jī) 141
7.1.1 感知機(jī)模型 142
7.1.2 感知機(jī)學(xué)習(xí)策略 143
7.1.3 感知機(jī)學(xué)習(xí)算法 143
7.1.4 示例程序 144
7.2 多層神經(jīng)網(wǎng)絡(luò) 147
7.2.1 神經(jīng)元 147
7.2.2 神經(jīng)網(wǎng)絡(luò)架構(gòu) 148
7.2.3 神經(jīng)網(wǎng)絡(luò)正向計(jì)算 148
7.2.4 神經(jīng)網(wǎng)絡(luò)矩陣表示 149
7.2.5 神經(jīng)網(wǎng)絡(luò)訓(xùn)練 151
7.2.6 激活函數(shù) 155
7.2.7 神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法設(shè)計(jì) 157
7.2.8 示例程序 158
7.2.9 使用類(lèi)的方法封裝多層神經(jīng)網(wǎng)絡(luò) 161
7.3 softmax函數(shù)與交叉熵代價(jià)函數(shù) 165
7.3.1 softmax函數(shù) 165
7.3.2 交叉熵代價(jià)函數(shù) 167
7.4 小結(jié) 169
7.5 練習(xí)題 169
7.6 在線(xiàn)練習(xí)題 170
第8章 PyTorch 171
8.1 張量 171
8.1.1 Tensor的生成 171
8.1.2 Tensor的操作 173
8.1.3 Tensor的維度操作 173
8.1.4 Tensor的變形 175
8.1.5 inplace操作 175
8.2 自動(dòng)求導(dǎo) 176
8.2.1 簡(jiǎn)單情況下的自動(dòng)求導(dǎo) 177
8.2.2 復(fù)雜情況下的自動(dòng)求導(dǎo) 178
8.2.3 多次自動(dòng)求導(dǎo) 180
8.3 神經(jīng)網(wǎng)絡(luò)模型 180
8.3.1 邏輯斯蒂回歸與神經(jīng)網(wǎng)絡(luò) 180
8.3.2 序列化模型 185
8.3.3 模塊化網(wǎng)絡(luò)定義 187
8.3.4 模型參數(shù)保存 189
8.4 神經(jīng)網(wǎng)絡(luò)的定義與訓(xùn)練 191
8.4.1 MNIST數(shù)據(jù)集 191
8.4.2 CIFAR-10數(shù)據(jù)集 192
8.4.3 多分類(lèi)神經(jīng)網(wǎng)絡(luò) 192
8.4.4 參數(shù)初始化 198
8.4.5 模型優(yōu)化求解 202
8.5 綜合示例代碼 212
8.6 小結(jié) 214
8.7 練習(xí)題 215
8.8 在線(xiàn)練習(xí)題 215
第9章 深度學(xué)習(xí) 216
9.1 卷積神經(jīng)網(wǎng)絡(luò) 216
9.1.1 卷積網(wǎng)絡(luò)的基礎(chǔ) 217
9.1.2 卷積計(jì)算與模塊 220
9.1.3 數(shù)據(jù)預(yù)處理與批量歸一化 223
9.1.4 網(wǎng)絡(luò)正則化 229
9.1.5 學(xué)習(xí)率衰減 231
9.2 典型的深度神經(jīng)網(wǎng)絡(luò) 235
9.2.1 LeNet5 235
9.2.2 AlexNet 240
9.2.3 VGG 245
9.2.4 GoogLeNet 250
9.2.5 ResNet 254
9.2.6 DenseNet 260
9.3 小結(jié) 265
9.4 練習(xí)題 265
9.5 在線(xiàn)練習(xí)題 265
第10章 目標(biāo)檢測(cè) 266
10.1 目標(biāo)檢測(cè)的任務(wù) 266
10.2 目標(biāo)檢測(cè)的發(fā)展歷程 267
10.3 目標(biāo)檢測(cè)評(píng)估方法 269
10.3.1 交并比 269
10.3.2 精度 270
10.3.3 平均精度 271
10.3.4 平均精度均值 271
10.4 目標(biāo)檢測(cè)的原理 271
10.4.1 YOLO-v1 271
10.4.2 YOLO-v2 280
10.4.3 YOLO-v3 280
10.4.4 YOLO-v4 281
10.4.5 YOLO-v5 281
10.5 YOLO-v4原理與實(shí)現(xiàn) 283
10.5.1 主干特征提取網(wǎng)絡(luò) 283
10.5.2 特征金字塔 287
10.5.3 利用特征進(jìn)行預(yù)測(cè) 289
10.5.4 預(yù)測(cè)結(jié)果的解碼 290
10.5.5 在原始圖像上進(jìn)行繪制 295
10.6 YOLO-v4的技巧及損失函數(shù)分析 295
10.6.1 Mosaic數(shù)據(jù)增強(qiáng) 295
10.6.2 CIoU 299
10.6.3 損失函數(shù) 300
10.7 訓(xùn)練自己的YOLO-v4模型 307
10.7.1 數(shù)據(jù)集的準(zhǔn)備 307
10.7.2 數(shù)據(jù)集處理 307
10.7.3 網(wǎng)絡(luò)訓(xùn)練 308
10.7.4 訓(xùn)練結(jié)果預(yù)測(cè) 310
10.8 小結(jié) 310
10.9 練習(xí)題 310
10.10 在線(xiàn)練習(xí)題 310
第11章 深度強(qiáng)化學(xué)習(xí) 311
11.1 強(qiáng)化學(xué)習(xí) 311
11.1.1 強(qiáng)化學(xué)習(xí)的基本概念 312
11.1.2 馬爾可夫決策過(guò)程 313
11.1.3 Q學(xué)習(xí)算法 315
11.1.4 示例程序 317
11.2 深度強(qiáng)化學(xué)習(xí) 320
11.3 倒立擺的控制示例 321
11.3.1 仿真環(huán)境 322
11.3.2 第三方庫(kù) 322
11.3.3 經(jīng)驗(yàn)回放內(nèi)存 323
11.3.4 Q網(wǎng)絡(luò) 324
11.3.5 輸入數(shù)據(jù)截取 324
11.3.6 超參數(shù)和工具函數(shù) 325
11.3.7 網(wǎng)絡(luò)訓(xùn)練 327
11.4 小結(jié) 329
11.5 練習(xí)題 330
11.6 在線(xiàn)練習(xí)題 330
參考文獻(xiàn) 331
術(shù)語(yǔ)表 333