本書系統(tǒng)地介紹了三維點(diǎn)云處理的基礎(chǔ)知識、 傳統(tǒng)算法與深度學(xué)習(xí)算法, 包括點(diǎn)云數(shù)據(jù)表示、 空間變換、 預(yù)處理、 配準(zhǔn)、 拼接、 濾波和表面重建等傳統(tǒng)算法, 以及經(jīng)典三維深度學(xué)習(xí)算法、 室外、 室內(nèi)、 單目、 多模態(tài)三維目標(biāo)檢測、 三維語義分割和深度補(bǔ)全等模型。

書中采用由淺入深的方式詳細(xì)介紹各種算法的設(shè)計(jì)思路和實(shí)現(xiàn)過程, 如循序漸進(jìn)的學(xué)習(xí)路徑、 深入剖析算法原理、 豐富的示例算法以及能力開拓和問題解決能力培養(yǎng)等。

本書讀者對象為計(jì)算機(jī)科學(xué)、 機(jī)器學(xué)習(xí)、 人工智能等領(lǐng)域?qū)�業(yè)人士和學(xué)術(shù)研究者等。

由淺入深，循序漸進(jìn)：抽絲剝繭介紹點(diǎn)云及深度算法

講其然，解其所以然：通上徹下闡述理論與算法設(shè)計(jì)

融會貫通，舉一反三：觸類旁通解說算法特性與聯(lián)系

讀書百遍，其義自見：愿您的每次閱讀都有新的認(rèn)知

三維點(diǎn)云是現(xiàn)代計(jì)算機(jī)視覺領(lǐng)域的熱門研究方向, 由于其能夠準(zhǔn)確地表達(dá)三維環(huán)境的形態(tài)和結(jié)構(gòu), 因此在環(huán)境感知、 機(jī)器人導(dǎo)航、 室內(nèi)外建模、 自動駕駛等領(lǐng)域具有廣泛應(yīng)用。

本書共分為16 章, 其中前7 章主要介紹Python 編程基礎(chǔ)、 點(diǎn)云數(shù)據(jù)的形態(tài)與可視化、 空間變換、 預(yù)處理以及點(diǎn)云的配準(zhǔn)、 拼接、 濾波和表面重建等常見機(jī)器學(xué)習(xí)算法等知識。后9 章則介紹深度學(xué)習(xí)的基礎(chǔ)知識和環(huán)境搭建, 以及三維點(diǎn)云深度學(xué)習(xí)算法模型,包括經(jīng)典三維深度學(xué)習(xí)算法、 室外、 室內(nèi)、 單目、 多模態(tài)三維目標(biāo)檢測、 三維語義分割和深度補(bǔ)全等模型內(nèi)容。 目標(biāo)是通過實(shí)際 Python 程序示例來幫助讀者深入分析三維點(diǎn)云處理和深度學(xué)習(xí)算法, 如在每個(gè)章節(jié)都展示一個(gè)或多個(gè)示例程序, 以有助于大家更好地理解算法的工作原理。

本書主要特點(diǎn)如下:

• 由淺入深, 循序漸進(jìn), 從點(diǎn)云基本概念與傳統(tǒng)處理算法逐步過渡到深度學(xué)習(xí)算法

進(jìn)行講解。

• 知其然, 知其所以然, 讓讀者不僅理解算法實(shí)現(xiàn)結(jié)果, 而且掌握設(shè)計(jì)思路與過程。
• 讀書百遍, 其義自見, 展示大量示例算法, 使讀者應(yīng)用和創(chuàng)新更加得心應(yīng)手。
• 融會貫通, 舉一反三, 力求讓讀者掌握各種算法的特性與聯(lián)系, 打開新思路, 解決新問題。

本書在編寫過程中, 參考了大量開源算法的設(shè)計(jì)思路和程序, 對于這些開源程序的提供者, 在此表示誠摯的謝意。 另外, 特別感謝我的導(dǎo)師李啟亮先生(北京大學(xué)工學(xué)院教授) 在編寫過程中持續(xù)給予的建議和鼓勵, 感謝北京航空航天大學(xué)出版社的支持, 使

本書能夠順利出版。

本書的程序代碼和示例數(shù)據(jù)均已開源, 后面將持續(xù)更新對最新深度學(xué)習(xí)算法的解析。 讀者可從相應(yīng)網(wǎng)站下載并運(yùn)行程序, 加深理解和實(shí)踐。 囿于編者的知識、 經(jīng)驗(yàn)有限, 對于書中不妥和疏漏, 敬請讀者將寶貴意見發(fā)至 ye_huixian@foxmail.com, 以便再版時(shí)完善, 感謝!

編 者

第1 章 Python 簡介與環(huán)境搭建
1 .1 Python 簡介
1 .2 Python 常用數(shù)據(jù)類型
1 .2.1 數(shù)值類型
1 .2.2 字符串類型
1 .2.3 列表類型
1 .2.4 字典類型
1 .2.5 其他類型
1 .3 常用語法
1 .3 .1 包導(dǎo)入
1 .3 .2 主函數(shù)入口
1 .3 .3 縮 進(jìn)
1 .3 .4 函 數(shù)
1 .3 .5 類
1 .3 .6 流程控制結(jié)構(gòu)
1 .3 .7 學(xué)習(xí)網(wǎng)站和資料
1 .4 Python 環(huán)境安裝
1 .4.1 Conda 安裝
1 .4.2 PythonIDE 安裝
1 .4.3 程序調(diào)試
1 .5 Python 源碼加密
1 .6 pip 鏡像設(shè)置
1 .7 程序資料
第2 章 點(diǎn)云開發(fā)環(huán)境安裝與配置
2.1 Python Open3d 安裝
2.2 Python PCL 安裝
2.3 CUDA 套件安裝
2.3 .1 CUDA 架構(gòu)簡介
2.3 .2 Windows 系統(tǒng) CUDA 安裝
2.3 .3 Linux 系統(tǒng) CUDA 安裝
1人工智能點(diǎn)云處理及深度學(xué)習(xí)算法
2.4 cuDNN 安裝
2.4.1 Windows 系統(tǒng)cuDNN 安裝
2.4.2 Linux 系統(tǒng)cuDNN 安裝
2.5 PyTorch 安裝
2.6 參考環(huán)境創(chuàng)建
2.7 程序資料
第3 章 點(diǎn)云基礎(chǔ)
3 .1 點(diǎn)云數(shù)據(jù)結(jié)構(gòu)
3 .2 點(diǎn)云采集方式
3 .2.1 激光雷達(dá)
3 .2.2 RGBD 相機(jī)
3 .2.3 應(yīng)用場景
3 .3 點(diǎn)云存儲格式
3 .3 .1 pcd 點(diǎn)云存儲格式
3 .3 .2 ply 點(diǎn)云存儲格式
3 .3 .3 txt 點(diǎn)云存儲格式
3 .3 .4 bin 點(diǎn)云存儲格式
3 .4 點(diǎn)云格式相互轉(zhuǎn)化
3 .5 Open3d 讀寫點(diǎn)云文件
3 .5 .1 pcd 文件讀寫
3 .5 .2 ply 文件讀寫
3 .6 Python pcl 讀寫點(diǎn)云文件
3 .7 點(diǎn)云可視化
3 .7.1 Matplotlib 點(diǎn)云可視化
3 .7.2 Mayavi 點(diǎn)云可視化
3 .7.3 Open3d 點(diǎn)云可視化
3 .7.4 Python pcl 點(diǎn)云可視化
3 .7.5 CloudCompare 點(diǎn)云可視化
3 .8 程序資料
第4 章 點(diǎn)云幾何形態(tài)
4.1 體 素
4.2 法向量
4.2.1 最小二乘求解法
4.2.2 PCA 求解法
4.2.3 Open3d 計(jì)算法向量
4.3 質(zhì) 心
4.4 三角面
4.5 倒角距離
4.6 程序資料
第5 章 點(diǎn)云空間變換
5 .1 平移變換
5 .2 旋轉(zhuǎn)變換
5 .2.1 旋轉(zhuǎn)表示方法
5 .2.2 Open3d 點(diǎn)云旋轉(zhuǎn)
5 .3 平面投影
5 .4 仿射變換
5 .5 點(diǎn)云縮放
5 .6 基于法向量的旋轉(zhuǎn)
5 .7 程序資料
第6 章 點(diǎn)云預(yù)處理算法
6 .1 離群點(diǎn)過濾
6 .1 .1 無效值剔除
6 .1 .2 統(tǒng)計(jì)方式剔除
6 .1 .3 半徑濾波方式剔除
6 .2 點(diǎn)云下采樣
6 .2.1 體素下采樣
6 .2.2 隨機(jī)下采樣
6 .2.3 均勻下采樣
6 .2.4 最遠(yuǎn)點(diǎn)采樣
6 .3 坐標(biāo)上采樣
6 .4 特征上采樣
6 .5 程序資料
第7 章 點(diǎn)云機(jī)器學(xué)習(xí)常見算法
7.1 ICP 點(diǎn)云配準(zhǔn)方法
7.2 點(diǎn)云拼接
7.3 點(diǎn)云分割
7.3 .1 RANSAC 平面分割
7.3 .2 DBSCAN 聚類
7.3 .3 KMeans 聚類
3人工智能點(diǎn)云處理及深度學(xué)習(xí)算法
7.4 其他聚類算法
7.4.1 OPTICS
7.4.2 Spectral Clustering
7.4.3 Hierarchical Clustering
7.4.4 Mean shift
7.4.5 BIRCH
7.4.6 Affinity Propagation
7.5 表面重建
7.5 .1 Alpha shapes
7.5 .2 Ball pivoting
7.5 .3 Poisson
7.5 .4 Voxel grid
7.6 程序資料
第8 章 點(diǎn)云深度學(xué)習(xí)基礎(chǔ)
8.1 感知機(jī)模型
8.1 .1 感知機(jī)結(jié)構(gòu)
8.1 .2 梯度下降法
8.2 卷積神經(jīng)網(wǎng)絡(luò)
8.2.1 卷積層
8.2.2 池化層
8.2.3 全連接層
8.2.4 激活函數(shù)
8.2.5 批歸一化
8.2.6 損失函數(shù)
8.3 反向傳播算法
8.4 特征視野范圍
8.5 非極大值抑制
8.6 Pytorch 神經(jīng)網(wǎng)絡(luò)框架
8.7 模型參數(shù)量與存儲空間
8.7.1 計(jì)算原理
8.7.2 維度對比
8.8 mmdetection3d 三維深度學(xué)習(xí)框架
8.8.1 安裝調(diào)試
8.8.2 mmdetection3d 訓(xùn)練
8.8.3 關(guān)鍵程序與斷點(diǎn)
8.8.4 程序資料
第9 章 三維點(diǎn)云數(shù)據(jù)集
9 .1 ModelNet40
9 .2 KITTI
9 .2.1 激光雷達(dá)數(shù)據(jù)
9 .2.2 標(biāo)注數(shù)據(jù)
9 .2.3 圖像數(shù)據(jù)
9 .2.4 標(biāo)定數(shù)據(jù)
9 .2.5 相機(jī)到雷達(dá)坐標(biāo)
9 .2.6 標(biāo)注可視化
9 .2.7 mmdetection3d KITTI
9 .3 NuScenes
9 .3 .1 數(shù)據(jù)范圍
9 .3 .2 json 文件
9 .3 .3 NuScenes 工具包
9 .3 .4 mmdetection3d nuScenes
9 .4 S3DIS
9 .4.1 數(shù)據(jù)集簡介
9 .4.2 mmdetection3d S3DIS
9 .5 ScanNet v2
9 .5 .1 數(shù)據(jù)集簡介
9 .5 .2 mmdetection3d ScanNet v2
9 .6 SUN RGB D
9 .6 .1 數(shù)據(jù)集簡介
9 .6 .2 mmdetection3d SUN RGB D
9 .7 點(diǎn)云數(shù)據(jù)預(yù)處理方法
9 .7.1 歸一化
9 .7.2 隨機(jī)縮放
9 .7.3 隨機(jī)平移
9 .7.4 隨機(jī)旋轉(zhuǎn)
9 .7.5 隨機(jī)擾動
9 .7.6 隨機(jī)排序
9 .7.7 隨機(jī)丟棄
9 .7.8 剔除范圍外點(diǎn)
9 .8 程序資料
5人工智能點(diǎn)云處理及深度學(xué)習(xí)算法
第10 章 三維點(diǎn)云深度學(xué)習(xí)基礎(chǔ)模型算法
10.1 PointNet (CVPR 2017)
10.1 .1 輸入數(shù)據(jù)
10.1 .2 分類網(wǎng)絡(luò)
10.1 .3 分割網(wǎng)絡(luò)
10.2 PointNet (NIPS 2017)
10.2.1 SA 模塊
10.2.2 分類網(wǎng)絡(luò)
10.2.3 分割網(wǎng)絡(luò)
10.2.4 多尺度分組
10.3 VoxelNet (CVPR 2018)
10.3 .1 數(shù)據(jù)裁剪
10.3 .2 數(shù)據(jù)處理
10.3 .3 模型結(jié)構(gòu)
10.3 .4 損失函數(shù)
10.4 Complex Yolo
10.4.1 點(diǎn)云鳥瞰圖
10.4.2 點(diǎn)云前視圖
10.4.3 Complex Yolov4 輸入數(shù)據(jù)
10.4.4 Complex Yolov4 模型
10.5 SECOND (Sensor 2018)
10.5 .1 三維稀疏卷積簡介
10.5 .2 模型結(jié)構(gòu)
10.5 .3 頂層結(jié)構(gòu)
10.5 .4 模型訓(xùn)練
10.6 CenterPoint (CVPR 2021)
10.6 .1 模型總體結(jié)構(gòu)
10.6 .2 模型詳細(xì)結(jié)構(gòu)
10.6 .3 頂層結(jié)構(gòu)
10.6 .4 模型訓(xùn)練
10.7 VoteNet (ICCV 2019)
10.7.1 模型總體結(jié)構(gòu)
10.7.2 模型詳細(xì)結(jié)構(gòu)
10.7.3 頂層結(jié)構(gòu)
10.7.4 模型訓(xùn)練
10.8 目標(biāo)檢測與圖像融合可視化
10.9 點(diǎn)云語義分割可視化
10.10 程序資料
第11 章 室外三維目標(biāo)檢測模型算法
11 .1 PointPillars (CVPR 2019)
11 .1 .1 模型總體結(jié)構(gòu)
11 .1 .2 模型詳細(xì)結(jié)構(gòu)
11 .1 .3 頂層結(jié)構(gòu)
11 .1 .4 模型訓(xùn)練
11 .2 SSN (ECCV 2020)
11 .2.1 模型總體結(jié)構(gòu)
11 .2.2 模型詳細(xì)結(jié)構(gòu)
11 .2.3 損失函數(shù)
11 .2.4 頂層結(jié)構(gòu)
11 .2.5 模型訓(xùn)練
11 .3 3DSSD (CVPR 2020)
11 .3 .1 模型總體結(jié)構(gòu)
11 .3 .2 最遠(yuǎn)點(diǎn)采樣
11 .3 .3 模型詳細(xì)結(jié)構(gòu)
11 .3 .4 損失函數(shù)
11 .3 .5 頂層結(jié)構(gòu)
11 .3 .6 模型訓(xùn)練
11 .4 SASSD (CVPR 2020)
11 .4.1 模型總體結(jié)構(gòu)
11 .4.2 模型詳細(xì)結(jié)構(gòu)
11 .4.3 Head 與損失函數(shù)
11 .4.4 頂層結(jié)構(gòu)
11 .4.5 模型訓(xùn)練
11 .5 PointRCNN (CVPR 2019)
11 .5 .1 模型總體結(jié)構(gòu)
11 .5 .2 模型詳細(xì)結(jié)構(gòu)
11 .5 .3 損失函數(shù)
11 .5 .4 頂層結(jié)構(gòu)
11 .5 .5 模型訓(xùn)練
11 .6 Part A2 (TPAMI 2020)
11 .6 .1 模型總體結(jié)構(gòu)
11 .6 .2 模型詳細(xì)結(jié)構(gòu)
7人工智能點(diǎn)云處理及深度學(xué)習(xí)算法
11 .6 .3 總體損失與頂層結(jié)構(gòu)
11 .6 .4 模型訓(xùn)練
第12 章 室內(nèi)三維目標(biāo)檢測模型算法
12.1 H3DNet (ECCV 2019)
12.1 .1 模型總體結(jié)構(gòu)
12.1 .2 模型詳細(xì)結(jié)構(gòu)
12.1 .3 總體損失與頂層結(jié)構(gòu)
12.1 .4 模型訓(xùn)練
12.2 Group Free 3D (ICCV 2021)
12.2.1 模型總體結(jié)構(gòu)
12.2.2 模型詳細(xì)結(jié)構(gòu)
12.2.3 模型訓(xùn)練
12.3 FCAF3D (ECCV 2022)
12.3 .1 模型總體結(jié)構(gòu)
12.3 .2 模型詳細(xì)結(jié)構(gòu)
12.3 .3 模型訓(xùn)練
第13 章 單目三維目標(biāo)檢測模型算法
13 .1 ImVoxelNet ( WACV 2022)
13 .1 .1 模型總體結(jié)構(gòu)
13 .1 .2 模型詳細(xì)結(jié)構(gòu)
13 .1 .3 損失函數(shù)與頂層結(jié)構(gòu)
13 .1 .4 室內(nèi)情況
13 .1 .5 模型訓(xùn)練
13 .2 SMOKE (CVPRW 2020)
13 .2.1 模型總體結(jié)構(gòu)
13 .2.2 模型詳細(xì)結(jié)構(gòu)
13 .2.3 模型訓(xùn)練
13 .3 FCOS3D (ICCVW 2021)
13 .3 .1 模型總體結(jié)構(gòu)
13 .3 .2 模型詳解
13 .3 .3 模型訓(xùn)練
第14 章 多模態(tài)三維目標(biāo)檢測模型算法
14.1 多模態(tài)數(shù)據(jù)融合方法
14.2 MVXNet (ICRA 2019)
14.2.1 模型總體結(jié)構(gòu)
14.2.2 圖像特征提取
14.2.3 點(diǎn)云特征提取
14.2.4 主干網(wǎng)絡(luò)與 NECK 層
14.2.5 損失函數(shù)與頂層結(jié)構(gòu)
14.2.6 模型訓(xùn)練
14.3 ImVoteNet (CVPR 2020)
14.3 .1 模型總體結(jié)構(gòu)
14.3 .2 二維候選框預(yù)測
14.3 .3 點(diǎn)云種子點(diǎn)生成
14.3 .4 圖像投票特征提取
14.3 .5 結(jié)果預(yù)測與損失計(jì)算
14.3 .6 模型訓(xùn)練
第15 章 三維語義分割模型算法
15 .1 PAConv (CVPR 2021)
15 .1 .1 PAConv 卷積結(jié)構(gòu)
15 .1 .2 主干網(wǎng)絡(luò)
15 .1 .3 特征上采樣與結(jié)果預(yù)測
15 .1 .4 損失函數(shù)與頂層結(jié)構(gòu)
15 .1 .5 模型訓(xùn)練
15 .2 DGCNN (TOG 2019)
15 .2.1 模型總體結(jié)構(gòu)
15 .2.2 EdgeConv 卷積
15 .2.3 主干網(wǎng)絡(luò)
15 .2.4 特征融合與結(jié)果預(yù)測
15 .2.5 損失函數(shù)與頂層結(jié)構(gòu)
15 .2.6 模型訓(xùn)練
第16 章 三維深度補(bǔ)全模型
16 .1 模型總體結(jié)構(gòu)
16 .2 輸入數(shù)據(jù)
16 .2.1 KITTI 數(shù)據(jù)集下載
16 .2.2 數(shù)據(jù)集預(yù)處理
16 .3 ENet 主干網(wǎng)絡(luò)
16 .3 .1 ENet 主干支路一
16 .3 .2 ENet 主干支路二
9人工智能點(diǎn)云處理及深度學(xué)習(xí)算法
16 .3 .3 分支融合
16 .3 .4 ENet 損失函數(shù)
16 .4 DA CSPN
16 .4.1 卷積核參數(shù)及其權(quán)重學(xué)習(xí)
16 .4.2 DA CSPN 結(jié)果微調(diào)
16 .4.3 feature_s1 CSPN 結(jié)果微調(diào)
16 .4.4 損失函數(shù)
16 .5 模型訓(xùn)練
參考文獻(xiàn)