本書從傳統(tǒng)的機器學習，如線性回歸、邏輯回歸、樸素貝葉斯、支持向量機、集成學習，到前沿的深度學習和神經網絡，如DNN、CNN、BERT、ResNet等，對人工智能技術進行零基礎講解，內容涵蓋數(shù)學原理、公式推導、圖表展示、企業(yè)應用案例。本書面向初中級讀者，能幫助讀者迅速掌握機器學習技術的相關概念及原理。本書內容結合作者多年的科研工作經驗，理論和實踐并重，對科研、學習、面試等均有幫助。
2003年~2012年年就讀于北京科技大學本科碩士博士，2016年于北京大學博士后流動站出站，研究方向為：機器學習，人工智能，計算機視覺和自然語言屬于。工作于騰訊，愛奇藝等頂級互聯(lián)網公司從事人工智能技術的應用研發(fā)工作。曾獲得騰訊年度人工智能銅獎，所做項目涉及自然語言處理，推薦系統(tǒng)，領導團隊參與多項公司級項目的搭建和優(yōu)化。工作之余，一直和培訓機構進行合作，主講人工智能課程，致力于人工智能在中國的普及推廣和應用。
第1章 數(shù)據(jù)的量化和特征提取 1
1.1 機器學習概述 1
1.2 特征提取 2
1.3 向量距離計算 6
第2章 線性回歸 12
2.1 線性回歸的基本概念 13
2.2 損失函數(shù)和梯度下降法 14
2.3 訓練集和測試集 19
2.4 多項式回歸 21
2.5 線性回歸的高級技巧 23
2.5.1 特征敏感性研究 23
2.5.2 損失函數(shù)的選擇 24
第3章 邏輯回歸 27
3.1 邏輯回歸的基本原理 28
3.2 交叉熵和KL距離 32
3.2.1 KL距離 32
3.2.2 梯度下降法 34
3.2.3 上采樣和下采樣 36
3.3 線性不可分及其解決方案 38
3.4 L1正則和L2正則 39
3.5 分類模型的評價標準 43
3.6 邏輯回歸的特征提升技巧 47
3.6.1 特征歸一化 47
3.6.2 特征分段 49
3.7 深入理解損失函數(shù)和邏輯函數(shù) 51
第4章 因子分解模型 55
4.1 基本原理和特征交叉 55
4.1.1 基本原理 55
4.1.2 特征交叉簡化 58
4.1.3 參數(shù)學習 59
4.2 因子分解模型和矩陣分解 61
第5章 經典分類模型 63
5.1 支持向量機 63
5.1.1 支持向量機的基本原理 63
5.1.2 支持向量機和邏輯回歸的比較 68
5.2 核方法 70
5.2.1 核函數(shù) 70
5.2.2 核函數(shù)在支持向量機中的應用 72
5.3 樸素貝葉斯 73
5.3.1 樸素貝葉斯原理 73
5.3.2 樸素貝葉斯的參數(shù)估計 76
5.4 維數(shù)災難 78
5.5 奧卡姆剃刀定律的應用 82
5.6 經驗風險、期望風險和結構風險 83
第6章 無監(jiān)督學習 85
6.1 K-Means聚類 86
6.1.1 K-Means算法的基本原理 86
6.1.2 改進型K-Means算法 88
6.1.3 K-Means算法和邏輯回歸的結合應用 91
6.2 主題模型 92
6.2.1 LDA模型的原理 93
6.2.2 LDA模型的訓練 95
第7章 集成學習 100
7.1 決策樹 100
7.2 隨機森林 105
7.3 GBDT 108
第8章 深度神經網絡 113
8.1 BP神經網絡的基本原理 113
8.2 多分類與Softmax函數(shù) 118
8.3 梯度下降法和鏈式法則 120
8.4 度量學習 125
第9章 神經網絡調優(yōu) 130
9.1 激活函數(shù)選型 131
9.2 權重初始化 135
9.3 改進型梯度下降法 137
9.3.1 隨機梯度下降法 138
9.3.2 鞍點問題 141
9.3.3 梯度下降法的優(yōu)化 142
9.4 過擬合解決方案 145
9.4.1 正則化 145
9.4.2 Dropout 146
9.4.3 提前終止 147
9.4.4 批標準化和層標準化 148
9.4.5 Shortcut 151
9.4.6 標簽平滑 151
9.4.7 人工制造數(shù)據(jù) 152
第10章 自然語言處理 154
10.1 自然語言處理模型 154
10.2 one-hot編碼和embedding技術 156
10.3 哈夫曼樹和負采樣 161
10.3.1 哈夫曼樹 161
10.3.2 負采樣 163
10.4 Word2vec的應用 165
10.5 fastText模型的原理及應用 166
第11章 卷積神經網絡 169
11.1 卷積層和池化層 169
11.2 卷積神經網絡在圖像處理中的應用 177
11.3 卷積神經網絡中的批標準化 179
11.4 TextCNN的原理及應用 180
第12章 深入卷積層 185
12.1 1 × 1卷積 185
12.2 小尺寸卷積 186
12.3 寬度卷積和Inception 187
12.4 Depthwise卷積和Pointwise卷積 189
12.5 特征通道加權卷積 193
第13章 循環(huán)神經網絡和LSTM模型 196
13.1 循環(huán)神經網絡模型詳解 196
13.1.1 循環(huán)神經網絡的基本原理 196
13.1.2 循環(huán)神經網絡存在的一些問題 199
13.2 LSTM模型詳解 202
13.3 LSTM模型的改進和應用 206
13.4 CTC算法 208
第14章 Attention模型和Transformer模型 210
14.1 Attention模型詳解 210
14.1.1 注意力機制的基本原理 210
14.1.2 Attention模型概述 212
14.1.3 Attention模型的改進形式 214
14.1.4 Self-Attention模型 215
14.1.5 Multi-Head Attention模型 217
14.2 Transformer模型原理 219
14.3 BERT模型及應用 221
書單推薦
