無人機(jī)航空遙感系統(tǒng)具有圖像分辨率高、圖像實時傳輸、適合高危地區(qū)作業(yè)、成本低、機(jī)動靈活等優(yōu)點,適用于低空高分辨率遙感數(shù)據(jù)的實時獲取,在區(qū)域性、工程性、災(zāi)害性和軍事性的遙感監(jiān)測中發(fā)揮著大型遙感系統(tǒng)難以替代的作用。無人機(jī)執(zhí)行遙感監(jiān)測任務(wù)時,需要實時傳輸其所獲取的圖像以及狀態(tài)數(shù)據(jù),這就要求無人機(jī)航空遙感系統(tǒng)具備自動、高速地完成圖像的獲取、壓縮、傳輸、處理、顯示以及存儲等功能。其中,確保遙感圖像處理的精準(zhǔn)性、實時性與可視性是無人機(jī)得以有效利用的重要前提條件。由于現(xiàn)有成像設(shè)備的性能所限,目前的航空遙感成像系統(tǒng)無法獲得大面積、高分辨率的觀測圖像,因此需要將獲取的序列遙感圖像進(jìn)行在線動態(tài)拼接,以提高遙感圖像的信息獲取能力。本書結(jié)合無人機(jī)航空遙感具體的應(yīng)用需求,針對航空遙感圖像拼接技術(shù)中的幾項關(guān)鍵技術(shù)進(jìn)行了研究和探討。內(nèi)容包括:圖像幾何畸變校正、灰度序列遙感圖像拼接、顏色空間與顏色相似性度量、彩色遙感圖像拼接、圖像特征提取方法、SVM機(jī)器學(xué)習(xí)算法、可變形模板的多目標(biāo)跟蹤模型等。
本書可供信息科學(xué)、遙感科學(xué)和數(shù)理科學(xué)的科研人員和工程技術(shù)人員閱讀,還可以作為計算機(jī)科學(xué)與技術(shù)、自動化、電子工程、遙感技術(shù)等專業(yè)的研究生和高年級本科生的教學(xué)參考書。
(1)根據(jù)無人機(jī)遙感圖像成像的內(nèi)、外方位元素,采用直角空間變換及二次線性插補方法,實現(xiàn)了遙感圖像校正。
(2)提出一種分布存儲環(huán)境下的并行幾何校正算法,每個處理器通過計算本地輸入子圖像在目標(biāo)圖像中的范圍,確定其需要進(jìn)行重采樣計算的區(qū)域,使計算過程中所需的數(shù)據(jù)均為本地數(shù)據(jù),很好地解決了數(shù)據(jù)局部性問題。
。3)基于圖像數(shù)據(jù)總體分布的統(tǒng)計,分析了飛行試驗圖像的成像質(zhì)量;谌搜哿炼纫曈X特性曲線,結(jié)合小波變換和Curvelet變換特點,提出一種新的圖像增強方法,實現(xiàn)了無人機(jī)遙感序列圖像的自適應(yīng)增強處理。
。4)提出結(jié)合小波變換和Canny算法的邊緣提取算法,該算法將Canny算法的非極大值抑制、雙閾值算法與小波變換多尺度分析思想相結(jié)合,利用Canny算法在高分辨率圖像的精確定位性與小波變換后的低分辨率圖像的抗噪聲能力相結(jié)合,從而消除噪聲的干擾,提取更加完整的邊緣。
。5)將圖像匹配分為粗匹配和精匹配兩個步驟。在粗匹配計算中,首先確定待拼接的兩幅圖像之間的大致重疊區(qū)域,然后利用小波變換與Canny算法提取圖像邊緣,最后采用區(qū)域匹配法求得兩幅圖像的匹配點。
。6)基于人眼的顏色視覺特性分析,本書提出了一種具有抗亮度干擾能力的彩色圖像色差度量方法。
。7)目標(biāo)的特征描述是跟蹤算法中的重要步驟,直接影響最終的跟蹤效果,決定整個跟蹤系統(tǒng)的性能。
。8)傳統(tǒng)的離線分類器需要人為標(biāo)記大量的樣本訓(xùn)練分類器,當(dāng)待測樣本與訓(xùn)練樣本具有較大差異時,無法及時適應(yīng)目標(biāo)的外觀變化,且難以推廣到其他目標(biāo)類型,分類器應(yīng)用具有局限性。
無人機(jī)航空遙感系統(tǒng)具有圖像分辨率高、圖像實時傳輸、適合高危地區(qū)作業(yè)、成本低、機(jī)動靈活等優(yōu)點,適用于低空高分辨率遙感數(shù)據(jù)的實時獲取,在區(qū)域性、工程性、災(zāi)害性和軍事性的遙感監(jiān)測中發(fā)揮著大型遙感系統(tǒng)難以替代的作用。無人機(jī)執(zhí)行遙感監(jiān)測任務(wù)時,需要實時傳輸其所獲取的圖像以及狀態(tài)數(shù)據(jù),這就要求無人機(jī)航空遙感系統(tǒng)具備自動、高速地完成圖像的獲取、壓縮、傳輸、處理、顯示以及存儲等功能。其中,確保遙感圖像處理的精準(zhǔn)性、實時性與可視性是無人機(jī)得以有效利用的重要前提條件。由于現(xiàn)有成像設(shè)備的性能所限,目前的航空遙感成像系統(tǒng)無法獲得大面積、高分辨率的觀測圖像,因此需要將獲取的序列遙感圖像進(jìn)行在線動態(tài)拼接,以提高遙感圖像的信息獲取能力。
結(jié)合無人機(jī)航空遙感具體的應(yīng)用需求,本書針對航空遙感圖像拼接技術(shù)進(jìn)行了以下研究工作。
(1)根據(jù)無人機(jī)遙感圖像成像的內(nèi)、外方位元素,采用直角空間變換及二次線性插補方法,實現(xiàn)了遙感圖像校正。根據(jù)獲取的無人機(jī)飛行狀態(tài)參數(shù),實現(xiàn)了連續(xù)兩幅無人機(jī)航空遙感快視圖像之間重疊區(qū)域的圖像范圍計算。
(2)提出一種分布存儲環(huán)境下的并行幾何校正算法,每個處理器通過計算本地輸入子圖像在目標(biāo)圖像中的范圍,確定其需要進(jìn)行重采樣計算的區(qū)域,使計算過程中所需的數(shù)據(jù)均為本地數(shù)據(jù),很好地解決了數(shù)據(jù)局部性問題。利用首尾相連的閉線段近似表示理想的輸出圖像塊邊界,詳細(xì)討論了局部輸出區(qū)域的計算方法,并采用一種新的存儲結(jié)構(gòu)用于保存校正后的輸出圖像塊信息。
(3)基于圖像數(shù)據(jù)總體分布的統(tǒng)計,分析了飛行試驗圖像的成像質(zhì)量;谌搜哿炼纫曈X特性曲線,結(jié)合小波變換和Curvelet變換特點,提出一種新的圖像增強方法,實現(xiàn)了無人機(jī)遙感序列圖像的自適應(yīng)增強處理。
(4)提出結(jié)合小波變換和Canny算法的邊緣提取算法,該算法將Canny算法的非極大值抑制、雙閾值算法與小波變換多尺度分析思想相結(jié)合,利用Canny算法在高分辨率圖像的精確定位性與小波變換后的低分辨率圖像的抗噪聲能力相結(jié)合,從而消除噪聲的干擾,提取更加完整的邊緣。
(5)將圖像匹配分為粗匹配和精匹配兩個步驟。在粗匹配計算中,首先確定待拼接的兩幅圖像之間的大致重疊區(qū)域,然后利用小波變換與Canny算法提取圖像邊緣,最后采用區(qū)域匹配法求得兩幅圖像的匹配點。在精匹配計算中,首先確定更小的搜索區(qū)域,然后利用最小二乘法計算得到待拼接圖像之間的最佳相對位置關(guān)系,最后根據(jù)匹配結(jié)果,實現(xiàn)兩幅圖像的拼接。
(6)基于人眼的顏色視覺特性分析,本書提出了一種具有抗亮度干擾能力的彩色圖像色差度量方法。利用顏色相似性分析,并引入?yún)f(xié)方差矩陣計算,給出了彩色圖像特征模板的提取方法。利用最小二乘法,建立了兩幅彩色圖像之間的亮度變換函數(shù)曲線,實現(xiàn)了基于基準(zhǔn)圖像亮度分布的伽馬校正。
(7)目標(biāo)的特征描述是跟蹤算法中的重要步驟,直接影響最終的跟蹤效果,決定整個跟蹤系統(tǒng)的性能。基于分類學(xué)習(xí)的目標(biāo)跟蹤一般不選擇較直觀的整體特征,而偏向由基本特征進(jìn)行局部特征統(tǒng)計,使特征描述子更易于區(qū)分且計算量較小。選擇目前成功應(yīng)用于目標(biāo)檢測的HOG特征作為目標(biāo)特征。
(8)傳統(tǒng)的離線分類器需要人為標(biāo)記大量的樣本訓(xùn)練分類器,當(dāng)待測樣本與訓(xùn)練樣本具有較大差異時,無法及時適應(yīng)目標(biāo)的外觀變化,且難以推廣到其他目標(biāo)類型,分類器應(yīng)用具有局限性。基于檢測的跟蹤算法,在跟蹤過程中,跟蹤器根據(jù)上一幀的跟蹤結(jié)果信息在線更新分類器,然后再對當(dāng)前幀檢測,以獲取當(dāng)前運動目標(biāo)的準(zhǔn)確預(yù)測位置,有效抑制跟蹤漂移。首先構(gòu)造目標(biāo)的外觀模型。在初始幀中隨機(jī)選擇大量含目標(biāo)區(qū)域以及含背景區(qū)域等的大圖像塊,分別提取HOG特征,標(biāo)記為正負(fù)樣本,然后將這些樣本特征集合作為訓(xùn)練樣本輸入SVM分類器,即可訓(xùn)練得到目標(biāo)準(zhǔn)確的參數(shù)化外觀模型。由于HOG特征具有幾何不變的特性,經(jīng)過SVM訓(xùn)練后得到的目標(biāo)外觀模型將更加準(zhǔn)確。對文中所提出的遙感圖像處理算法,實現(xiàn)了仿真程序設(shè)計,驗證了算法的可行性,完成無人機(jī)航空遙感圖像動態(tài)拼接軟件的設(shè)計工作。
全書共分10章,第1章對無人機(jī)及遙感系統(tǒng)做了簡單的介紹,針對遙感技術(shù)中的圖像匹配和融合,給予綜述性的論述;第2章研究拼接處理前的畸變校正以及去噪增強等圖像預(yù)處理工作;第3章研究基于圖像大邊緣提取的圖像拼接技術(shù);第4章研究顏色空間和顏色相似性的度量關(guān)系,為基于像素顏色的相似性匹配計算提供理論基礎(chǔ);第5章討論彩色圖像拼接;第6章研究目標(biāo)檢測中一些常用的圖像特征,詳細(xì)描述了HOG特征的提取方法;第7章研究支持向量機(jī)(SVM)算法的原理,詳細(xì)描述了基于HOG和SVM的目標(biāo)外觀模型的構(gòu)建;第8章研究并提出了基于最小生成樹模型的目標(biāo)模型,詳細(xì)描述了跟蹤模型的構(gòu)建過程,并將這種跟蹤算法應(yīng)用到多目標(biāo)跟蹤視頻中;第9章研究一個在線的、結(jié)構(gòu)化的SVM(StructuredSVM)框架中學(xué)習(xí)外觀模型參數(shù)和目標(biāo)間的相互關(guān)系參數(shù),實時更新所有目標(biāo)的外觀模型和這些目標(biāo)間的結(jié)構(gòu)約束,使跟蹤器能夠及時適應(yīng)目標(biāo)和環(huán)境的變化;第10章總結(jié)全文并展望下一步的研究內(nèi)容。
本書第1章至第5章由程遠(yuǎn)航編寫,第6章至第10章由武剛編寫。全書由程遠(yuǎn)航統(tǒng)稿。
作者的能力水平和學(xué)識有限,本書內(nèi)容如有不足之處,懇請讀者批評指正。
作者
2016年3月
第1章 緒論 1
1.1 無人機(jī) 2
1.2 無人機(jī)航空遙感系統(tǒng) 4
1.3 遙感圖像拼接技術(shù) 7
1.3.1 圖像匹配技術(shù) 8
1.3.2 圖像融合技術(shù) 12
第2章 遙感圖像的基礎(chǔ)理論及相關(guān)知識 17
2.1 遙感圖像幾何畸變校正 18
2.1.1 坐標(biāo)系統(tǒng) 19
2.1.2 影像的內(nèi)外方位元素 20
2.1.3 空間直角坐標(biāo)系的旋轉(zhuǎn)變換 21
2.1.4 共線方程 22
2.1.5 灰度重采樣 24
2.2 遙感圖像并行幾何校正算法 25
2.2.1 并行幾何校正算法 26
2.2.2 并行幾何校正算法的實驗結(jié)果與分析 31
2.3 遙感圖像對比度增強 34
2.3.1 直方圖修正法 34
2.3.2 直接灰度變換法 36
2.3.3 Wavelet與Curvelet變換相結(jié)合的圖像增強方法 39
2.4 實驗結(jié)果與分析 43
2.5 結(jié)論 45
第3章 灰度序列遙感圖像拼接 47
3.1 圖像邊緣檢測 48
3.1.1 微分算子法 49
3.1.2 Canny算法 49
3.1.3 數(shù)學(xué)形態(tài)學(xué)在邊緣檢測中的應(yīng)用 50
3.1.4 基于小波變換的邊緣檢測方法 51
3.2 小波變換與Canny算法相結(jié)合的邊緣檢測方法 52
3.2.1 小波基選擇 54
3.2.2 自適應(yīng)確定雙閾值 55
3.3 圖像匹配 57
3.3.1 匹配搜索區(qū)域計算 57
3.3.2 特征模板提取 59
3.3.3 匹配計算 59
3.4 圖像融合 62
3.4.1 失真程度 68
3.4.2 能量總和 69
3.4.3 能量最小化 71
3.5 實驗結(jié)果與分析 75
3.6 結(jié)論 77
第4章 顏色空間與顏色相似性度量 79
4.1 顏色空間分析 80
4.1.1 面向設(shè)備的顏色空間 80
4.1.2 面向視覺感知的顏色空間 83
4.1.3 均勻顏色空間 87
4.1.4 色差度量 90
4.2 顏色相似性度量 91
4.2.1 RGB與HSI顏色空間變換的特征 92
4.2.2 顏色相似系數(shù) 93
4.3 實驗結(jié)果與分析 95
4.4 結(jié)論 96
第5章 彩色遙感圖像拼接 99
5.1 顏色空間變換 100
5.2 色差計算 101
5.3 彩色圖像匹配 102
5.3.1 特征模板提取 102
5.3.2 匹配搜索策略 104
5.4 彩色圖像平滑 104
5.4.1 伽馬校正方法 105
5.4.2 亮度變換函數(shù) 106
5.4.3 平滑計算 106
5.5 實驗結(jié)果與分析 107
5.6 結(jié)論 110
第6章 圖像特征提取 111
6.1 圖像特征 112
6.1.1 LBP特征 112
6.1.2 Haar-like特征 115
6.1.3 SIFT特征 117
6.1.4 HOG特征 119
6.2 HOG特征的提取方法 120
6.2.1 圖像梯度計算 120
6.2.2 空間以及方向上的梯度統(tǒng)計 121
6.2.3 塊內(nèi)梯度直方圖的歸一化 122
6.2.4 最終HOG特征向量的生成 123
6.3 HOG特征的目標(biāo)描述 124
6.4 實驗結(jié)果與分析 125
第7章 SVM機(jī)器學(xué)習(xí)算法 129
7.1 支持向量機(jī)(SVM)的原理 130
7.2 SVM分類器的數(shù)學(xué)模型 130
7.2.1 線性可分情況下的SVM模型 130
7.2.2 線性不可分情況下的SVM模型 134
7.2.3 非線性可分情況下的SVM模型 135
7.3 SVM分類器設(shè)計 136
7.4 HOG和SVM的目標(biāo)外觀模型 137
7.4.1 目標(biāo)外觀模型的建立 137
7.4.2 SVM分類器的訓(xùn)練 138
第8章 可變形模板的多目標(biāo)跟蹤模型 141
8.1 可變形模板 142
8.2 圖結(jié)構(gòu)模型 142
8.2.1 圖的基本概念 144
8.2.2 表示圖像結(jié)構(gòu)特征的圖 145
8.3 構(gòu)造最小生成樹 146
8.4 建立目標(biāo)跟蹤模型 147
第9章 SVM在線學(xué)習(xí)的模型參數(shù)更新 151
9.1 在線學(xué)習(xí)的跟蹤算法 152
9.2 SVM在線學(xué)習(xí)的跟蹤框架 152
9.3 結(jié)構(gòu)化的SVM學(xué)習(xí) 154
9.3.1 結(jié)構(gòu)化的SVM 154
9.3.2 結(jié)構(gòu)化學(xué)習(xí) 155
9.4 實驗結(jié)果與分析 157
第10章 總結(jié)與展望 163
10.1 工作總結(jié) 164
10.2 未來工作的展望 165
參考文獻(xiàn) 167