第1 章 緒論 .............................................................................................................................. 1
1.1 室內(nèi)定位系統(tǒng)概述 ..................................................................................................... 1
1.1.1 室內(nèi)定位系統(tǒng)的發(fā)展歷史 ............................................................................. 1
1.1.2 主流室內(nèi)定位技術(shù) ......................................................................................... 2
1.2 計(jì)算機(jī)視覺 ................................................................................................................. 6
1.2.1 計(jì)算機(jī)視覺簡介 ............................................................................................. 6
1.2.2 計(jì)算機(jī)視覺的應(yīng)用方向 ................................................................................. 7
1.3 本書架構(gòu) ..................................................................................................................... 9
第2 章 圖像的基本概念 ........................................................................................................ 10
2.1 圖像與視頻 ............................................................................................................... 10
2.1.1 GIF ................................................................................................................ 10
2.1.2 PNG ............................................................................................................... 11
2.1.3 BMP .............................................................................................................. 12
2.1.4 JPEG .............................................................................................................. 14
2.1.5 H.264 ............................................................................................................. 19
2.2 圖像的數(shù)學(xué)表征 ....................................................................................................... 20
2.2.1 圖像基本模型 ............................................................................................... 20
2.2.2 圖像數(shù)字化 ................................................................................................... 21
2.2.3 數(shù)字圖像表示 ............................................................................................... 22
2.3 數(shù)字圖像性質(zhì) ........................................................................................................... 23
2.3.1 距離度量與距離變換 ................................................................................... 23
2.3.2 像素鄰接性和區(qū)域性質(zhì) ............................................................................... 25
2.3.3 拓?fù)湫再|(zhì) ....................................................................................................... 28
2.4 彩色圖像 ................................................................................................................... 28
2.4.1 彩色基礎(chǔ) ....................................................................................................... 28
2.4.2 RGB 彩色模型 .............................................................................................. 30
2.4.3 灰度圖像 ....................................................................................................... 31
2.5 深度圖像 ................................................................................................................... 31
2.5.1 深度圖像概念 ............................................................................................... 31
2.5.2 深度圖像的獲取 ........................................................................................... 32
2.6 數(shù)字圖像的采集 ....................................................................................................... 33
2.6.1 采集裝置 ....................................................................................................... 33
2.6.2 性能指標(biāo) ....................................................................................................... 35
2.6.3 采集模型 ....................................................................................................... 35
2.6.4 成像方式 ....................................................................................................... 36
第3 章 照相機(jī)與照相機(jī)參數(shù) ................................................................................................ 38
3.1 照相機(jī)種類 ............................................................................................................... 38
3.1.1 單目照相機(jī) ................................................................................................... 38
3.1.2 雙目照相機(jī) ................................................................................................... 40
3.1.3 深度照相機(jī) ................................................................................................... 42
3.1.4 魚眼照相機(jī) ................................................................................................... 43
3.2 照相機(jī)參數(shù) ............................................................................................................... 44
3.2.1 旋轉(zhuǎn)與平移 ................................................................................................... 44
3.2.2 照相機(jī)標(biāo)定 ................................................................................................... 47
3.3 鏡頭畸變 ................................................................................................................... 48
3.4 實(shí)踐：計(jì)算機(jī)圖像處理 ........................................................................................... 50
3.4.1 OpenCV 的使用............................................................................................ 50
3.4.2 圖像畸變糾正 ............................................................................................... 52
第4 章 圖像全局特征 ............................................................................................................ 55
4.1 概述 ........................................................................................................................... 55
4.2 顏色特征 ................................................................................................................... 55
4.2.1 HOG 特征 ..................................................................................................... 56
4.2.2 哈希特征 ....................................................................................................... 61
4.2.3 顏色矩 ........................................................................................................... 64
4.2.4 顏色相關(guān)圖 ................................................................................................... 65
4.3 紋理特征 ................................................................................................................... 65
4.3.1 小波變換 ....................................................................................................... 66
4.3.2 Gabor 變換 .................................................................................................... 69
4.3.3 Gist 特征 ....................................................................................................... 74
4.4 實(shí)踐：全局特征提取 ............................................................................................... 75
第5 章 圖像局部特征 ............................................................................................................ 83
5.1 概述 ........................................................................................................................... 83
5.2 Harris 角點(diǎn) ................................................................................................................ 83
5.3 FAST 特征 ................................................................................................................. 86
5.4 霍夫變換 ................................................................................................................... 87
5.4.1 霍夫線變換 ................................................................................................... 88
5.4.2 霍夫圓變換 ................................................................................................... 89
5.5 SIFT 特征 .................................................................................................................. 90
5.5.1 尺度空間極值檢測 ....................................................................................... 91
5.5.2 關(guān)鍵點(diǎn)定位 ................................................................................................... 93
5.5.3 關(guān)鍵點(diǎn)方向確定 ........................................................................................... 94
5.5.4 關(guān)鍵點(diǎn)描述 ................................................................................................... 95
5.6 SURF 特征 ................................................................................................................ 96
5.6.1 構(gòu)建Hessian 矩陣生成關(guān)鍵點(diǎn) .................................................................... 97
5.6.2 構(gòu)建尺度空間 ............................................................................................... 98
5.6.3 確定關(guān)鍵點(diǎn)方向 ........................................................................................... 99
5.6.4 生成特征描述子 ........................................................................................... 99
5.7 ORB 特征 ................................................................................................................ 100
5.7.1 改進(jìn)的FAST 角點(diǎn)提取 .............................................................................. 100
5.7.2 BRIEF 特征描述子 ..................................................................................... 101
5.8 實(shí)踐：圖像局部特征提取 ..................................................................................... 102
第6 章 圖像的特征匹配 ...................................................................................................... 106
6.1 概述 ......................................................................................................................... 106
6.2 度量函數(shù) ................................................................................................................. 106
6.3 特征點(diǎn)匹配優(yōu)化算法 ............................................................................................. 107
6.3.1 距離篩選算法 ............................................................................................. 108
6.3.2 交叉匹配算法 ............................................................................................. 109
6.3.3 KNN 算法 ................................................................................................... 109
6.3.4 RANSAC 算法 ............................................................................................ 110
6.4 實(shí)踐：圖像特征匹配 ............................................................................................. 112
第7 章 幾何變換 .................................................................................................................. 115
7.1 概述 ......................................................................................................................... 115
7.2 幾何基元 ................................................................................................................. 115
7.3 二維空間中的變換 ................................................................................................. 117
7.4 三維空間中的變換 ................................................................................................. 119
7.5 旋轉(zhuǎn)向量 ................................................................................................................. 122
7.6 實(shí)踐：運(yùn)動軌跡繪制代碼實(shí)現(xiàn) ............................................................................. 122
第8 章 照相機(jī)位置估計(jì)與求解 .......................................................................................... 124
8.1 概述 ......................................................................................................................... 124
8.2 照相機(jī)建模 ............................................................................................................. 124
8.2.1 投射投影矩陣和非固有參數(shù) ..................................................................... 124
8.2.2 照相機(jī)固有參數(shù)矩陣 ................................................................................. 126
8.3 視覺定位中的圖像特征描述子 ............................................................................. 128
8.3.1 圖像檢索流程 ............................................................................................. 128
8.3.2 全局特征描述子 ......................................................................................... 129
8.3.3 局部特征描述子 ......................................................................................... 130
8.4 對極幾何約束 ......................................................................................................... 132
8.4.1 模型描述 ..................................................................................................... 132
8.4.2 本質(zhì)矩陣 ..................................................................................................... 133
8.4.3 基本矩陣 ..................................................................................................... 134
8.5 實(shí)踐：對極幾何約束求解照相機(jī)運(yùn)動位置 ......................................................... 135
第9 章 同步定位與地圖構(gòu)建 .............................................................................................. 137
9.1 概述 ......................................................................................................................... 137
9.2 IMU 和RGB-D 照相機(jī)模型分析 .......................................................................... 138
9.2.1 IMU 模型 .................................................................................................... 138
9.2.2 針孔成像模型 ............................................................................................. 140
9.2.3 RGB-D 照相機(jī)和IMU 聯(lián)合標(biāo)定 .............................................................. 141
9.3 室內(nèi)建圖系統(tǒng)關(guān)鍵技術(shù)分析 ................................................................................. 143
9.3.1 剛體運(yùn)動的三維表示 ................................................................................. 143
9.3.2 傳感器的位姿估計(jì)問題 ............................................................................. 144
9.3.3 非線性優(yōu)化 ................................................................................................. 145
9.4 RGB-D 照相機(jī)和IMU 信息的前端處理 .............................................................. 146
9.4.1 IMU 預(yù)積分 ................................................................................................ 146
9.4.2 特征點(diǎn)提取與追蹤 ..................................................................................... 148
9.4.3 PnP 估計(jì)幀間位姿 ..................................................................................... 151
9.5 聯(lián)合初始化和后端優(yōu)化 ......................................................................................... 153
9.5.1 RGB-D 照相機(jī)和IMU 的旋轉(zhuǎn)估計(jì)對齊 .................................................. 153
9.5.2 RGB-D 照相機(jī)和IMU 的位移估計(jì)對齊 .................................................. 154
9.5.3 后端優(yōu)化與點(diǎn)云建圖 ................................................................................. 154
9.6 系統(tǒng)性能分析 ......................................................................................................... 157
9.6.1 位姿估計(jì)誤差分析 ..................................................................................... 157
9.6.2 點(diǎn)云建圖實(shí)驗(yàn)結(jié)果分析 ............................................................................. 162
9.7 實(shí)踐：BA 問題求解 .............................................................................................. 165
9.7.1 Ceres 求解BA 問題 ................................................................................... 165
9.7.2 g2o 求解BA 問題 ...................................................................................... 167
第10 章 圖像拼接 ................................................................................................................ 170
10.1 概述 ....................................................................................................................... 170
10.2 圖像預(yù)處理 ........................................................................................................... 170
10.2.1 圖像幾何校正 ........................................................................................... 170
10.2.2 圖像投影變換 ........................................................................................... 171
10.2.3 圖像配準(zhǔn) ................................................................................................... 173
10.3 圖像拼接融合 ....................................................................................................... 175
10.3.1 平均值融合算法 ....................................................................................... 176
10.3.2 加權(quán)平均融合算法 ................................................................................... 176
10.3.3 漸入漸出融合算法 ................................................................................... 177
10.3.4 多頻段融合算法 ....................................................................................... 178
10.4 實(shí)踐：圖像拼接 ................................................................................................... 180
第11 章 點(diǎn)云 ........................................................................................................................ 183
11.1 概述 ....................................................................................................................... 183
11.1.1 點(diǎn)云和點(diǎn)云庫概念 ................................................................................... 183
11.1.2 點(diǎn)云處理在各領(lǐng)域的應(yīng)用 ....................................................................... 184
11.2 PCL ........................................................................................................................ 186
11.2.1 數(shù)據(jù)類型 ................................................................................................... 186
11.2.2 PCL 常用代碼模塊 ................................................................................... 187
11.2.3 PCL 點(diǎn)云處理 ........................................................................................... 187
11.3 K 維樹和八叉樹 .................................................................................................... 188
11.3.1 K 維樹 ....................................................................................................... 189
11.3.2 八叉樹 ....................................................................................................... 190
11.4 點(diǎn)云濾波 ............................................................................................................... 190
11.4.1 濾波概述 ................................................................................................... 190
11.4.2 雙邊濾波算法 ........................................................................................... 192
11.4.3 剔除點(diǎn)云離群點(diǎn) ....................................................................................... 193
11.4.4 點(diǎn)云下采樣 ............................................................................................... 194
11.5 三維-三維：ICP 點(diǎn)云匹配 .................................................................................. 195
11.5.1 點(diǎn)云配準(zhǔn)定義 ........................................................................................... 195
11.5.2 ICP 算法 .................................................................................................... 196
11.6 實(shí)踐：點(diǎn)云濾波和點(diǎn)云配準(zhǔn) ............................................................................... 198
第12 章 可視化建圖與渲染 ............................................................................................... 202
12.1 概述 ....................................................................................................................... 202
12.2 單目稠密重建 ....................................................................................................... 203
12.2.1 稀疏重建與稠密重建的區(qū)別 ................................................................... 203
12.2.2 單目稠密重建方法 ................................................................................... 203
12.3 稠密建圖 ............................................................................................................... 206
12.3.1 稠密重建方法 ........................................................................................... 206
12.3.2 PMVS 算法 ............................................................................................... 207
12.4 圖形渲染 ............................................................................................................... 207
12.4.1 預(yù)渲染與實(shí)時渲染的區(qū)別 ....................................................................... 207
12.4.2 WebGL 與渲染管線 ................................................................................. 208
12.5 點(diǎn)云渲染與可視化 ............................................................................................... 209
12.5.1 基于面片的渲染算法 ............................................................................... 209
12.5.2 網(wǎng)格重建 ................................................................................................... 210
12.6 實(shí)踐：點(diǎn)云曲面重建 ........................................................................................... 213
第13 章 圖像語義基本概念與標(biāo)注方法 ............................................................................ 215
13.1 圖像語義基本概念 ............................................................................................... 215
13.1.1 定義 ........................................................................................................... 215
13.1.2 語義研究內(nèi)容 ........................................................................................... 216
13.1.3 圖像語義分析與應(yīng)用 ............................................................................... 217
13.2 圖像級標(biāo)注 ........................................................................................................... 223
13.3 像素級標(biāo)注 ........................................................................................................... 226
13.4 實(shí)踐：目標(biāo)檢測 ................................................................................................... 229
13.4.1 計(jì)算機(jī)硬件基礎(chǔ) ....................................................................................... 229
13.4.2 深度學(xué)習(xí)環(huán)境配置 ................................................................................... 229
第14 章 圖像語義獲取方法與應(yīng)用.................................................................................... 233
14.1 機(jī)器學(xué)習(xí) ............................................................................................................... 233
14.2 圖像語義模型 ....................................................................................................... 236
14.3 圖像語義分割 ....................................................................................................... 240
14.4 圖像標(biāo)注和目標(biāo)識別 ........................................................................................... 246
14.5 實(shí)踐：利用自己的數(shù)據(jù)集實(shí)現(xiàn)目標(biāo)檢測 ........................................................... 252