本書基于作者20余年的AR理論和應用的研究,從技術和HCI的角度介紹AR。 本書內(nèi)容涵蓋AR的理論知識和相關案例，主要內(nèi)容包括顯示和跟蹤技術、標定與注冊技術、視覺一致性、交互、建模、開發(fā)、AR軟件架構，既有AR發(fā)展歷史的詳細介紹，又有對AR技術脈絡的梳理與展示，適合作為高校增強現(xiàn)實相關課程的教材，以及增強現(xiàn)實研究者、技術人員的參考書。
在過去的20年里，信息技術的應用從固定的辦公室和桌面計算轉移到網(wǎng)絡、社交媒體和移動計算。近年來，即使將筆記本電腦歸入桌面式電腦的類別，智能手機和平板電腦的銷量也遠超傳統(tǒng)桌面式電腦。
雖然目前主流用戶界面還沒有完全從20世紀90年代的桌面計算（或者說是1981 Xerox Star）中脫離出來，但是當今年輕一代獲取計算機知識的方式已經(jīng)改變：各種應用和云計算在許多情況下取代了電腦桌面。計算已經(jīng)從一項在辦公室或書房中開展的工作轉變?yōu)殡S時隨地進行的活動。
初識增強現(xiàn)實
隨著用戶逐漸遠離電腦桌面，將真實世界融入我們的計算體驗變得越來越重要�？紤]到真實世界既不是平面的，也不是由書寫文檔組成的，因此必須有一個新的用戶界面隱喻。增強現(xiàn)實（Augmented Reality，AR）有潛力成為用于情境計算的主流用戶界面隱喻。增強現(xiàn)實具有能將真實世界和與之相關的虛擬信息直接關聯(lián)的獨特性質。整個世界變成了用戶界面，這引出了那句熟悉的宣言：
回到真實世界！
虛擬現(xiàn)實（Virtual Reality，VR）的愿景是將我們自身沉浸于人造世界，這推動了游戲設備的發(fā)展，帶來了令人驚艷的畫面效果，隨之而來的是各類頭戴式顯示器和手勢跟蹤器的出現(xiàn)。但即便如此，像虛擬現(xiàn)實這樣通過定義來獨占大眾注意力的用戶界面隱喻，也不一定是日常計算的最佳選擇。
相反，我們越來越依賴可以隨意使用并能提供容易理解的少量信息的計算界面。我們需要普適計算。這可以通過“寧靜”的計算過程實現(xiàn)，這一過程會在后臺進行，不需要用戶干涉，甚至根本不會引起用戶的注意。在需要普適交互時，增強現(xiàn)實脫穎而出，成為合適的用戶界面技術。
為何寫作本書
多個相互交叉的研究領域聚焦于增強現(xiàn)實的發(fā)展，相關的知識體系也在快速完善。自20世紀90年代以來，我們一直以研究者的身份致力于該知識體系的相關工作。本書的主要動力來自我們所任教的格拉茨理工大學和加州大學圣巴巴拉分校關于增強現(xiàn)實的課堂教學。在備課過程中，我們明顯感到目前沒有一本教材能夠覆蓋這個快速發(fā)展領域的廣度和深度。從2001年的SIGGRAPH會議開始，各種學術會議及研討會的部分演講稿都為備課提供了參考，我們也參與組織了其中的一些會議。許多基礎理論從那時起逐漸構建起來，我們著眼于系統(tǒng)地匯集相關知識，同時注重新興概念與實踐信息。因此，這本書誕生了。
本書主要內(nèi)容
如書名所示，本書在原理和實踐之間力求平衡。我們的目標是讓這本書既能服務于科學研究人員，又能服務于對增強現(xiàn)實應用感興趣的從業(yè)者，特別是工程師。因此，本書既可用作教材，又可用作參考讀物。為了充分利用本書，讀者需要對計算機科學有基本認識，如果能夠了解計算機圖形學以及計算機視覺領域的相關知識，或者對其感興趣，會對理解本書有所幫助�？紤]到篇幅的限制，我們無法進一步提供必要背景技術的特定細節(jié)，而是給出了參考文獻。與此同時，本書謹慎地介紹并清楚地解釋了超出基礎知識的特定增強現(xiàn)實概念，從而使本書自成體系。本書采用下面的篇章順序來介紹增強現(xiàn)實的技術和基本方法。
第1章為本書奠定基調，介紹增強現(xiàn)實的定義，簡略講述該領域的歷史，之后帶領讀者領略這項強大的真實世界用戶界面技術的多種應用實例。小結部分介紹了一系列相關技術和研究領域的全景。
第2章的主題是顯示技術，這是增強現(xiàn)實的關鍵基礎技術之一。根據(jù)視覺感知的基礎理論，討論了各種適用于增強現(xiàn)實的顯示技術，尤其是頭戴式顯示、手持式顯示和投影式顯示。我們還討論了非視覺顯示技術，如聽覺和觸覺設備等。
第3章的主題是跟蹤技術，這是增強現(xiàn)實的潛在核心技術之一。首先討論了理解跟蹤（廣義的定義是測量系統(tǒng)）的工作原理所需要掌握的特定知識，然后討論了傳統(tǒng)的固定跟蹤系統(tǒng)，并將其與移動傳感器進行比較。接下來，著重介紹了主流的光學跟蹤技術，并在最后簡述了傳感器融合的原理。
第4章繼續(xù)上一章中對光學跟蹤問題的討論，詳細介紹了用于實時位姿估計的計算機視覺算法，例如根據(jù)觀測圖像確定攝像機的位置與朝向。為了便于講解并使讀者更廣泛地了解背景知識，這一章由一系列案例研究組成。每一個案例研究僅介紹自身必需的相關知識，所以讀者不需要事先深入了解計算機視覺方面的知識。此外，本書對涉及高等數(shù)學的問題做了標記，這些問題在實踐中通常依賴OpenCV等軟件庫來解決，因此可以被視為“黑箱”，不想深入研究的讀者可略過這部分內(nèi)容。
第5章討論用于增強現(xiàn)實的器件標定和注冊方法。在增強現(xiàn)實應用中，第3章所述的用于光學跟蹤的數(shù)字攝像機標定技術是實現(xiàn)可重復精確操作的必要前提。注冊是幾何上校準增強現(xiàn)實體驗中的真實世界和虛擬世界的過程，從而有利于形成一致混合環(huán)境的錯覺。
第6章聚焦于使真實和虛擬物體無縫融合的一系列計算機圖形技術，包括虛擬和真實物體之間正確的遮擋或陰影關系。我們也解釋了消隱現(xiàn)實，即消隱場景中的真實物體，并討論了物理攝像機的仿真。
第7章關注可視化技術，目的是使信息更容易理解。在增強現(xiàn)實環(huán)境中，這意味著幾何注冊到真實場景物體上的計算機生成信息，必須按照便于用戶理解的方式擺放和設計。我們同時探討了二維增強（如文本標簽）和
迪特爾·施馬爾斯蒂格（Dieter Schmalstieg） 奧地利格拉茨理工大學教授，計算機圖形學和視覺中心主任。他是IEEE高級會員、奧地利科學院會員以及歐洲科學院會員，目前已發(fā)表論文300余篇，并擔任《IEEE可視化和計算機圖形學會刊》等核心期刊或論文集的編輯。2002年獲得奧地利科學基金會START Career獎，2012年獲得IEEE虛擬現(xiàn)實技術成就獎。
托比亞斯·霍勒爾（Tobias Hllerer） 加州大學圣芭芭拉分校計算機科學系教授，F(xiàn)our Eyes實驗室主任。曾獲得美國NSF授予的CAREER獎，并于2013年獲得ACM杰出科學家稱號。他曾擔任IEEE VR 2015、ICAT 2013等重要國際會議的程序委員會主席，并多次榮獲*佳論文獎。
出版者的話
前言
致謝
第1章 增強現(xiàn)實介紹1
1.1 定義和范圍1
1.2 增強現(xiàn)實簡史2
1.3 示例8
1.3.1 工業(yè)和建筑業(yè)8
1.3.2 維修和培訓10
1.3.3 醫(yī)療11
1.3.4 個人信息顯示12
1.3.5 導航13
1.3.6 電視14
1.3.7 廣告和商務15
1.3.8 游戲17
1.4 相關領域17
1.4.1 混合現(xiàn)實連續(xù)體18
1.4.2 虛擬現(xiàn)實18
1.4.3 普適計算18
1.5 小結20
第2章 顯示21
2.1 多模態(tài)呈現(xiàn)21
2.1.1 聽覺呈現(xiàn)21
2.1.2 觸力覺呈現(xiàn)22
2.1.3 嗅覺和味覺呈現(xiàn)23
2.2 視覺感知24
2.3 需求與特點25
2.3.1 增強方法25
2.3.2 單視和體視27
2.3.3 調焦28
2.3.4 遮擋30
2.3.5 分辨率和刷新率31
2.3.6 視場32
2.3.7 視點偏移33
2.3.8 亮度和對比度35
2.3.9 扭曲和畸變36
2.3.10 延遲36
2.3.11 人因工程學36
2.3.12 社會接受度36
2.4 空間顯示模型37
2.5 視覺顯示38
2.5.1 近眼顯示器39
2.5.2 手持式顯示器46
2.5.3 固定式顯示器47
2.5.4 投影式顯示器52
2.6 小結56
第3章 跟蹤57
3.1 跟蹤、標定和注冊57
3.2 坐標系58
3.2.1 模型變換59
3.2.2 視圖變換59
3.2.3 投影變換59
3.2.4 參考幀59
3.3 跟蹤技術的特點60
3.3.1 物理現(xiàn)象60
3.3.2 測量原理60
3.3.3 測量的幾何屬性61
3.3.4 傳感器布置61
3.3.5 信號源61
3.3.6 自由度62
3.3.7 測量坐標62
3.3.8 空間傳感器布置62
3.3.9 工作區(qū)范圍63
3.3.10 測量誤差63
3.3.11 時間特性64
3.4 固定跟蹤系統(tǒng)64
3.4.1 機械跟蹤64
3.4.2 電磁跟蹤65
3.4.3 超聲波跟蹤66
3.5 移動傳感器66
3.5.1 全球定位系統(tǒng)67
3.5.2 無線網(wǎng)絡68
3.5.3 磁力儀68
3.5.4 陀螺儀69
3.5.5 線性加速度計69
3.5.6 里程表70
3.6 光學跟蹤70
3.6.1 基于模型跟蹤與無模型跟蹤71
3.6.2 照明71
3.6.3 標志點與自然特征73
3.6.4 目標識別77
3.7 傳感器融合79
3.7.1 互補傳感器融合79
3.7.2 競爭傳感器融合79
3.7.3 協(xié)作傳感器融合80
3.8 小結81
第4章 增強現(xiàn)實中的計算機視覺82
4.1 標志點跟蹤83
4.1.1 攝像機表示84
4.1.2 標志點檢測85
4.1.3 單應位姿估計87
4.1.4 位姿優(yōu)化90
4.2 多攝像機紅外跟蹤90
4.2.1 斑塊檢測91
4.2.2 建立點對應關系91
4.2.3 雙攝像機的三角測量92
4.2.4 兩臺以上攝像機的三角測量93
4.2.5 包含球體標志物的目標匹配93
4.2.6 絕對朝向94
4.3 自然特征檢測跟蹤94
4.3.1 興趣點檢測95
4.3.2 創(chuàng)建描述符98
4.3.3 匹配描述符99
4.3.4 n點透視位姿99
4.3.5 魯棒的位姿估計100
4.4 增量跟蹤101
4.4.1 主動搜索102
4.4.2 Kanade-Lucas-Tomasi跟蹤102
4.4.3 零歸一化交叉相關103
4.4.4 分層搜索104
4.4.5 聯(lián)合檢測與跟蹤105
4.5 同時定位與地圖構建106
4.5.1 本質矩陣的五點算法107
4.5.2 集束調整108
4.5.3 并行跟蹤與地圖構建108
4.5.4 重定位與閉環(huán)109
4.5.5 稠密地圖構建110
4.6 戶外跟蹤112
4.6.1 可擴展的視覺匹配113
4.6.2 傳感器先驗信息114
4.6.3 幾何先驗信息115
4.6.4 同時跟蹤、地圖構建及定位116
4.7 小結120
第5章 標定與注冊121
5.1 攝像機標定121
5.1.1 攝像機內(nèi)參121
5.1.2 校正鏡頭畸變122
5.2 顯示器標定123
5.2.1 單點主動對準法125
5.2.2 使用指向裝置的頭戴式顯示器標定126
5.2.3 手–眼標定127
5.3 注冊129
5.3.1 幾何測量失真129
5.3.2 誤差傳播129
5.3.3 延遲130
5.3.4 濾波和預測130
5.4 小結131
第6章 視覺一致性132
6.1 注冊132
6.2 遮擋134
6.2.1 遮擋細化135
6.2.2 概率遮擋136
6.2.3 無模型遮擋136
6.3 光度注冊138
6.3.1 基于圖像的光照139
6.3.2 光探針140
6.3.3 離線光照采集142
6.3.4 基于靜止圖像的光度注冊142
6.3.5 基于鏡面反射的光度注冊142
6.3.6 基于漫反射的光度注冊143
6.3.7 基于陰影的光度注冊 144
6.3.8 室外光度注冊 145
6.3.9 重建精確光源145
6.4 通用光照145
6.4.1 差分渲染146
6.4.2 實時全局光照147
6.4.3 陰影148
6.4.4 漫射全局光照 150
6.4.5 鏡面全局光照152
6.5 消隱現(xiàn)實153
6.5.1 感興趣區(qū)域的確定153
6.5.2 隱藏區(qū)域的觀察與建模154
6.5.3 感興趣區(qū)域的移除154
6.5.4 基于投影的消隱現(xiàn)實155
6.6 攝像機仿真155
6.6.1 鏡頭畸變156
6.6.2 模糊157
6.6.3 噪聲157
6.6.4 漸暈158
6.6.5 色差158
6.6.6 拜耳模式偽影 158
6.6.7 色調映射偽影158
6.7 風格化增強現(xiàn)實159
6.8 小結159
第7章 情境可視化161
7.1 挑戰(zhàn)162
7.1.1 數(shù)據(jù)過載162
7.1.2 用戶交互163
7.1.3 注冊誤差163
7.1.4 視覺干擾163
7.1.5 時間一致性164
7.2 可視化注冊165
7.2.1 本地注冊情境可視化165
7.2.2 全局注冊情境可視化165
7.2.3 注冊不確定性166
7.3 注釋和標記166
7.3.1 標記基礎166
7.3.2 優(yōu)化技術167
7.3.3 時間一致性168
7.3.4 圖像導引放置170
7.3.5 易讀性170
7.4 X射線可視化171
7.4.1
書單推薦
