在過去的20年里，信息技術(shù)的應(yīng)用從固定的辦公室和桌面計算轉(zhuǎn)移到網(wǎng)絡(luò)、社交媒體和移動計算。近年來，即使將筆記本電腦歸入桌面式電腦的類別，智能手機(jī)和平板電腦的銷量也遠(yuǎn)超傳統(tǒng)桌面式電腦。
雖然目前主流用戶界面還沒有完全從20世紀(jì)90年代的桌面計算（或者說是1981 Xerox Star）中脫離出來，但是當(dāng)今年輕一代獲取計算機(jī)知識的方式已經(jīng)改變：各種應(yīng)用和云計算在許多情況下取代了電腦桌面。計算已經(jīng)從一項在辦公室或書房中開展的工作轉(zhuǎn)變?yōu)殡S時隨地進(jìn)行的活動。
初識增強(qiáng)現(xiàn)實(shí)
隨著用戶逐漸遠(yuǎn)離電腦桌面，將真實(shí)世界融入我們的計算體驗(yàn)變得越來越重要。考慮到真實(shí)世界既不是平面的，也不是由書寫文檔組成的，因此必須有一個新的用戶界面隱喻。增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）有潛力成為用于情境計算的主流用戶界面隱喻。增強(qiáng)現(xiàn)實(shí)具有能將真實(shí)世界和與之相關(guān)的虛擬信息直接關(guān)聯(lián)的獨(dú)特性質(zhì)。整個世界變成了用戶界面，這引出了那句熟悉的宣言：
回到真實(shí)世界！
虛擬現(xiàn)實(shí)（Virtual Reality，VR）的愿景是將我們自身沉浸于人造世界，這推動了游戲設(shè)備的發(fā)展，帶來了令人驚艷的畫面效果，隨之而來的是各類頭戴式顯示器和手勢跟蹤器的出現(xiàn)。但即便如此，像虛擬現(xiàn)實(shí)這樣通過定義來獨(dú)占大眾注意力的用戶界面隱喻，也不一定是日常計算的最佳選擇。
相反，我們越來越依賴可以隨意使用并能提供容易理解的少量信息的計算界面。我們需要普適計算。這可以通過“寧靜”的計算過程實(shí)現(xiàn)，這一過程會在后臺進(jìn)行，不需要用戶干涉，甚至根本不會引起用戶的注意。在需要普適交互時，增強(qiáng)現(xiàn)實(shí)脫穎而出，成為合適的用戶界面技術(shù)。
為何寫作本書
多個相互交叉的研究領(lǐng)域聚焦于增強(qiáng)現(xiàn)實(shí)的發(fā)展，相關(guān)的知識體系也在快速完善。自20世紀(jì)90年代以來，我們一直以研究者的身份致力于該知識體系的相關(guān)工作。本書的主要動力來自我們所任教的格拉茨理工大學(xué)和加州大學(xué)圣巴巴拉分校關(guān)于增強(qiáng)現(xiàn)實(shí)的課堂教學(xué)。在備課過程中，我們明顯感到目前沒有一本教材能夠覆蓋這個快速發(fā)展領(lǐng)域的廣度和深度。從2001年的SIGGRAPH會議開始，各種學(xué)術(shù)會議及研討會的部分演講稿都為備課提供了參考，我們也參與組織了其中的一些會議。許多基礎(chǔ)理論從那時起逐漸構(gòu)建起來，我們著眼于系統(tǒng)地匯集相關(guān)知識，同時注重新興概念與實(shí)踐信息。因此，這本書誕生了。
本書主要內(nèi)容
如書名所示，本書在原理和實(shí)踐之間力求平衡。我們的目標(biāo)是讓這本書既能服務(wù)于科學(xué)研究人員，又能服務(wù)于對增強(qiáng)現(xiàn)實(shí)應(yīng)用感興趣的從業(yè)者，特別是工程師。因此，本書既可用作教材，又可用作參考讀物。為了充分利用本書，讀者需要對計算機(jī)科學(xué)有基本認(rèn)識，如果能夠了解計算機(jī)圖形學(xué)以及計算機(jī)視覺領(lǐng)域的相關(guān)知識，或者對其感興趣，會對理解本書有所幫助�？紤]到篇幅的限制，我們無法進(jìn)一步提供必要背景技術(shù)的特定細(xì)節(jié)，而是給出了參考文獻(xiàn)。與此同時，本書謹(jǐn)慎地介紹并清楚地解釋了超出基礎(chǔ)知識的特定增強(qiáng)現(xiàn)實(shí)概念，從而使本書自成體系。本書采用下面的篇章順序來介紹增強(qiáng)現(xiàn)實(shí)的技術(shù)和基本方法。
第1章為本書奠定基調(diào)，介紹增強(qiáng)現(xiàn)實(shí)的定義，簡略講述該領(lǐng)域的歷史，之后帶領(lǐng)讀者領(lǐng)略這項強(qiáng)大的真實(shí)世界用戶界面技術(shù)的多種應(yīng)用實(shí)例。小結(jié)部分介紹了一系列相關(guān)技術(shù)和研究領(lǐng)域的全景。
第2章的主題是顯示技術(shù)，這是增強(qiáng)現(xiàn)實(shí)的關(guān)鍵基礎(chǔ)技術(shù)之一。根據(jù)視覺感知的基礎(chǔ)理論，討論了各種適用于增強(qiáng)現(xiàn)實(shí)的顯示技術(shù)，尤其是頭戴式顯示、手持式顯示和投影式顯示。我們還討論了非視覺顯示技術(shù)，如聽覺和觸覺設(shè)備等。
第3章的主題是跟蹤技術(shù)，這是增強(qiáng)現(xiàn)實(shí)的潛在核心技術(shù)之一。首先討論了理解跟蹤（廣義的定義是測量系統(tǒng)）的工作原理所需要掌握的特定知識，然后討論了傳統(tǒng)的固定跟蹤系統(tǒng)，并將其與移動傳感器進(jìn)行比較。接下來，著重介紹了主流的光學(xué)跟蹤技術(shù)，并在最后簡述了傳感器融合的原理。
第4章繼續(xù)上一章中對光學(xué)跟蹤問題的討論，詳細(xì)介紹了用于實(shí)時位姿估計的計算機(jī)視覺算法，例如根據(jù)觀測圖像確定攝像機(jī)的位置與朝向。為了便于講解并使讀者更廣泛地了解背景知識，這一章由一系列案例研究組成。每一個案例研究僅介紹自身必需的相關(guān)知識，所以讀者不需要事先深入了解計算機(jī)視覺方面的知識。此外，本書對涉及高等數(shù)學(xué)的問題做了標(biāo)記，這些問題在實(shí)踐中通常依賴OpenCV等軟件庫來解決，因此可以被視為“黑箱”，不想深入研究的讀者可略過這部分內(nèi)容。
第5章討論用于增強(qiáng)現(xiàn)實(shí)的器件標(biāo)定和注冊方法。在增強(qiáng)現(xiàn)實(shí)應(yīng)用中，第3章所述的用于光學(xué)跟蹤的數(shù)字?jǐn)z像機(jī)標(biāo)定技術(shù)是實(shí)現(xiàn)可重復(fù)精確操作的必要前提。注冊是幾何上校準(zhǔn)增強(qiáng)現(xiàn)實(shí)體驗(yàn)中的真實(shí)世界和虛擬世界的過程，從而有利于形成一致混合環(huán)境的錯覺。
第6章聚焦于使真實(shí)和虛擬物體無縫融合的一系列計算機(jī)圖形技術(shù)，包括虛擬和真實(shí)物體之間正確的遮擋或陰影關(guān)系。我們也解釋了消隱現(xiàn)實(shí)，即消隱場景中的真實(shí)物體，并討論了物理攝像機(jī)的仿真。
第7章關(guān)注可視化技術(shù)，目的是使信息更容易理解。在增強(qiáng)現(xiàn)實(shí)環(huán)境中，這意味著幾何注冊到真實(shí)場景物體上的計算機(jī)生成信息，必須按照便于用戶理解的方式擺放和設(shè)計。我們同時探討了二維增強(qiáng)（如文本標(biāo)簽）和