"本書為讀者詳細(xì)介紹了智能駕駛中的視覺(jué)感知后處理的相關(guān)知識(shí)和技術(shù)。通過(guò)六章的詳盡內(nèi)容,讀者將深入理解自動(dòng)駕駛車輛如何通過(guò)視覺(jué)傳感器捕捉、處理和理解外部環(huán)境,從而實(shí)現(xiàn)自動(dòng)化駕駛功能。 - **第1章 智能駕駛與視覺(jué)感知后處理** 從智能駕駛的整體發(fā)展脈絡(luò)入手,概述其發(fā)展歷程及各個(gè)分級(jí),進(jìn)而探討視覺(jué)感知在其中的核心角色與應(yīng)用。 - **第2章 相機(jī)傳感器硬件系統(tǒng)** 專注于為視覺(jué)感知提供數(shù)據(jù)的核心硬件相機(jī)傳感器。從原理、時(shí)鐘源,到自動(dòng)駕駛中的選擇要求和車規(guī)級(jí)相機(jī)性能要求,為讀者展現(xiàn)了相機(jī)傳感器的全貌。 - **第3章 相機(jī)傳感器標(biāo)定** 詳細(xì)介紹了相機(jī)標(biāo)定的基礎(chǔ)知識(shí)和方法,如坐標(biāo)系轉(zhuǎn)換、相機(jī)模型、以及多種標(biāo)定方法。 - **第4章 車道線后處理** 深入探討了車道線檢測(cè)、擬合、跟蹤以及與智能駕駛功能的關(guān)聯(lián)。無(wú)論是傳統(tǒng)的圖像處理方法,還是基于深度學(xué)習(xí)的技術(shù),都有所涉及。 - **第5章 障礙物后處理** 從障礙物檢測(cè)、測(cè)距,到紅綠燈和標(biāo)識(shí)牌的處理,此章詳細(xì)解讀了如何在視覺(jué)中識(shí)別和處理各種障礙物,以確保駕駛的安全性。 - **第6章 智能駕駛中多相機(jī)感知后處理** 當(dāng)多個(gè)相機(jī)傳感器同時(shí)工作時(shí),如何融合它們的數(shù)據(jù)是一個(gè)挑戰(zhàn)。本章探討了雙目視覺(jué)處理、多相機(jī)融合算法以及與NOA的關(guān)系。 無(wú)論您是自動(dòng)駕駛領(lǐng)域的研究者、工程師,還是對(duì)此技術(shù)感興趣的讀者,本書都將為您提供寶貴的參考和啟示。"
為什么要寫這本書
隨著新能源汽車的普及,搭載高級(jí)智能駕駛系統(tǒng)的車輛越來(lái)越多。與此同時(shí),隨著新算法以及大算力SoC芯片的應(yīng)用,智能駕駛的核心技術(shù)取得了突破性進(jìn)展。感知模塊作為智能駕駛系統(tǒng)中的關(guān)鍵模塊,主要基于車輛的行駛性能和共識(shí)規(guī)則,實(shí)時(shí)、可靠、準(zhǔn)確地探測(cè)車輛周圍環(huán)境給行駛帶來(lái)的安全隱患,為下游的規(guī)控模塊提供必要的信息,以便采取適當(dāng)?shù)牟僮鞔胧﹣?lái)避免交通事故的發(fā)生。視覺(jué)感知作為智能駕駛系統(tǒng)的眼睛,通過(guò)高分辨率攝像頭和深度學(xué)習(xí)技術(shù),能夠捕捉到道路上的各種細(xì)節(jié)(如車道線、交通標(biāo)識(shí)牌、行人、車輛等),并轉(zhuǎn)換為下游所需的信息。因此,從事智能駕駛工作的相關(guān)人員有必要了解視覺(jué)感知方面的知識(shí)。目前,市面上智能駕駛感知方面的技術(shù)資料不少,但關(guān)于視覺(jué)感知后處理技術(shù)的著作不多?紤]到目前國(guó)內(nèi)缺乏系統(tǒng)介紹智能駕駛視覺(jué)感知后處理方法的書籍,我編寫了本書。近年來(lái),人工智能技術(shù)的發(fā)展日新月異,本書中所提到的一些算法和技術(shù)將不斷被更新,甚至被淘汰。但萬(wàn)變不離其宗,其背后的基本原理不會(huì)變,因此本書可以為讀者研究和應(yīng)用智能駕駛視覺(jué)感知后處理技術(shù)提供參考。
讀者對(duì)象
本書適合以下人群閱讀。
●從事智能駕駛研發(fā)工作的科研機(jī)構(gòu)人員、企業(yè)研究人員和工程師。
●車輛工程、自動(dòng)駕駛專業(yè)的學(xué)生。
●對(duì)自動(dòng)駕駛感知技術(shù)和多傳感器融合感興趣的讀者。
如何閱讀本書
全書共分為6章。第1章概述了智能駕駛的歷史演進(jìn)與分類標(biāo)準(zhǔn),深入探討了視覺(jué)感知在智能駕駛中的實(shí)際應(yīng)用。第2章詳細(xì)介紹了攝像頭的硬件組成及攝像頭在自動(dòng)駕駛中的關(guān)鍵作用,并結(jié)合實(shí)際應(yīng)用場(chǎng)景與安裝位置,對(duì)攝像頭的關(guān)鍵參數(shù)與性能要求進(jìn)行了全面闡述。第3章對(duì)攝像頭成像模型與標(biāo)定技術(shù)進(jìn)行了專業(yè)解析,概述了科研與量產(chǎn)中廣泛應(yīng)用的標(biāo)定方法。第4章簡(jiǎn)要介紹了車道線檢測(cè)技術(shù),并重點(diǎn)闡述了車道線的后處理與跟蹤策略。第5章深入探討了視覺(jué)障礙物檢測(cè)技術(shù)的發(fā)展現(xiàn)狀,重點(diǎn)講解了障礙物測(cè)距與目標(biāo)跟蹤方法,同時(shí)介紹了紅綠燈、交通標(biāo)識(shí)牌等的視覺(jué)處理手段,并結(jié)合智能駕駛功能,針對(duì)量產(chǎn)中常見的問(wèn)題提出了實(shí)用的解決方法。第6章對(duì)多攝像頭標(biāo)定技術(shù)進(jìn)行了詳細(xì)闡述,并重點(diǎn)介紹了多攝像頭融合算法,最后對(duì)目前流行的BEV算法進(jìn)行了簡(jiǎn)要介紹。
勘誤和支持
由于我的水平有限,書中難免會(huì)出現(xiàn)一些錯(cuò)誤或者表達(dá)不準(zhǔn)確的地方,懇請(qǐng)讀者批評(píng)指正。
致謝
感謝一起合作過(guò)的同行,正是因?yàn)榕c各位同行的深入交流、緊密合作以及項(xiàng)目經(jīng)驗(yàn)的不斷積累,我才有了撰寫本書的想法。在本書創(chuàng)作過(guò)程中,他們?yōu)槲姨峁┝嗽S多寶貴的建議和寫作思路,使我得以不斷豐富和完善書中的內(nèi)容。感謝西北工業(yè)大學(xué)亞軍老師幫忙收集資料和提供相關(guān)的思路,感謝心滿、炳剛、瑛哥、小徐同學(xué)、豆哥、豆包以及其他好朋友的鼎力相助。感謝我的愛人,她在我寫作期間承擔(dān)了很多家庭責(zé)任,讓我能夠全心全意地投入到創(chuàng)作中。她的理解與包容,讓我在寫作過(guò)程中更加從容與自在。感謝孩子的日常鼓勵(lì)和提醒,他那明朗的笑容一直激勵(lì)著我。
前 言
第1章 智能駕駛與視覺(jué)感知后處理1
1.1 智能駕駛概述1
1.1.1 智能駕駛的發(fā)展1
1.1.2 智能駕駛系統(tǒng)的分級(jí)2
1.1.3 智能駕駛系統(tǒng)的發(fā)展趨勢(shì)5
1.2 視覺(jué)感知在智能駕駛中的應(yīng)用7
1.2.1 計(jì)算機(jī)視覺(jué)概述7
1.2.2 計(jì)算機(jī)視覺(jué)原理7
1.2.3 計(jì)算機(jī)視覺(jué)在智能駕駛中的應(yīng)用8
1.2.4 視覺(jué)后處理與智能駕駛9
1.2.5 視覺(jué)感知在智能駕駛中的發(fā)展趨勢(shì)10
第2章 攝像頭硬件系統(tǒng)11
2.1 攝像頭的硬件組成和工作原理12
2.2 攝像頭時(shí)間戳15
2.3 攝像頭在自動(dòng)駕駛中的應(yīng)用17
2.4 攝像頭關(guān)鍵參數(shù)21
2.5 車規(guī)級(jí)攝像頭性能要求21
第3章 攝像頭標(biāo)定24
3.1 攝像頭標(biāo)定數(shù)學(xué)知識(shí)24
3.1.1 外積24
3.1.2 歐氏變換25
3.1.3 旋轉(zhuǎn)矩陣與旋轉(zhuǎn)向量26
3.1.4 變換矩陣和齊次坐標(biāo)27
3.1.5 歐拉角28
3.1.6 四元數(shù)29
3.2 坐標(biāo)系概述30
3.2.1 世界坐標(biāo)系到攝像頭坐標(biāo)系的轉(zhuǎn)換30
3.2.2 攝像頭坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換31
3.2.3 圖像坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換32
3.3 攝像頭成像模型33
3.3.1 針孔攝像頭成像模型34
3.3.2 魚眼攝像頭成像模型38
3.4 攝像頭標(biāo)定方法40
3.4.1 張正友標(biāo)定法41
3.4.2 產(chǎn)線EoL標(biāo)定法43
3.4.3 售后標(biāo)定法45
3.4.4 行車自標(biāo)定法47
3.4.5 消失點(diǎn)標(biāo)定法47
3.4.6 基于車道線寬度假設(shè)標(biāo)定法52
第4章 車道線檢測(cè)及后處理53
4.1 車道線檢測(cè)53
4.1.1 基于傳統(tǒng)圖像算法的車道線檢測(cè)方法53
4.1.2 基于深度學(xué)習(xí)的車道線檢測(cè)方法59
4.2 車道線曲線擬合68
4.2.1 常用的擬合算法68
4.2.2 車道線曲線模型78
4.3 車道線跟蹤81
4.3.1 車道線關(guān)聯(lián)82
4.3.2 濾波跟蹤原理83
4.3.3 車道線跟蹤的運(yùn)動(dòng)模型84
4.3.4 基于擴(kuò)展卡爾曼濾波的車道線跟蹤90
4.3.5 車道線結(jié)構(gòu)化假設(shè)95
4.4 車道線與輔助駕駛功能99
4.4.1 C-NCAP2021與車道線99
4.4.2 車道線偏離預(yù)警100
4.4.3 常見問(wèn)題以及解決方法103
第5章 視覺(jué)障礙物后處理110
5.1 視覺(jué)障礙物檢測(cè)110
5.1.1 基于傳統(tǒng)圖像算法的障礙物檢測(cè)方法110
5.1.2 基于深度學(xué)習(xí)的障礙物檢測(cè)方法122
5.2 障礙物測(cè)距130
5.2.1 車輛測(cè)距130
5.2.2 行人、騎行人、兩輪車測(cè)距149
5.3 基于視覺(jué)的目標(biāo)跟蹤152
5.3.1 目標(biāo)跟蹤方法153
5.3.2 多目標(biāo)跟蹤方法164
5.4 紅綠燈與交通標(biāo)識(shí)牌的視覺(jué)后處理170
5.4.1 紅綠燈視覺(jué)后處理170
5.4.2 交通標(biāo)識(shí)牌視覺(jué)后處理175
5.5 視覺(jué)后處理與輔助駕駛功能177
5.5.1 CNCAP中的AEB177
5.5.2 AEB與視覺(jué)測(cè)距183
5.5.3 常見問(wèn)題以及解決方法187
5.5.4 視覺(jué)后處理總結(jié)196
第6章 多攝像頭感知后處理197
6.1 多攝像頭標(biāo)定198
6.1.1 雙目攝像頭標(biāo)定198
6.1.2 多攝像頭標(biāo)定199
6.2 多攝像頭融合201
6.2.1 多攝像頭立體匹配201
6.2.2 多攝像頭圖像處理209
6.2.3 多攝像頭目標(biāo)融合214
6.2.4 多攝像頭下的車道線融合217
6.3 多視覺(jué)感知后處理與BEV算法220