增強現(xiàn)實（Augmented Reality，AR）技術(shù)能夠?qū)⒂嬎銠C中的虛擬物體或信息融入到真實世界中，從而能夠極大地增強人對現(xiàn)實世界的體驗和認知。AR將為未來的信息系統(tǒng)和信息世界提供一種革命性的操作界面，必將改變諸如產(chǎn)品設(shè)計、設(shè)備操作與管理、培訓(xùn)學(xué)習等過程中的人機交互方式。近年來，AR已成為當今具影響力的新興技術(shù)之一，受到學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注，被廣泛應(yīng)用于工業(yè)、醫(yī)療、社交、游戲娛樂、軍事、教育等多個領(lǐng)域。本書是廣東省虛擬現(xiàn)實及可視化工程技術(shù)研究中心課題組在增強現(xiàn)實領(lǐng)域多年研究成果的總結(jié)，特別總結(jié)了在國家自然科學(xué)基金委員會資助下取得的成果（增強現(xiàn)實裝配操作空間的深度感知理論與方法研究，編號：51275094）。本書從增強現(xiàn)實人機交互的特點出發(fā)，系統(tǒng)闡述了增強現(xiàn)實交互方法的基本原理、模型、主要技術(shù)與典型應(yīng)用的實現(xiàn)。著重論述基于視覺、外設(shè)、體感及觸摸屏四種典型人機交互方式的原理、方法與具體實現(xiàn)技術(shù)。主要內(nèi)容包括：增強現(xiàn)實的理論基礎(chǔ)與設(shè)備；基于標識、數(shù)據(jù)手套、機器視覺、移動終端的增強現(xiàn)實交互方法；增強現(xiàn)實應(yīng)用系統(tǒng)開發(fā)案例。本書注重理論與實踐相結(jié)合，五個與工業(yè)應(yīng)用相關(guān)的增強現(xiàn)實典型應(yīng)用案例均來源于實際科研項目，讀者可從中全面了解與掌握增強現(xiàn)實系統(tǒng)人機交互的設(shè)計思路、軟硬件構(gòu)成、建模方法、關(guān)鍵技術(shù)實現(xiàn)方法、編程開發(fā)要點等。本書可作為增強現(xiàn)實領(lǐng)域從事科研、技術(shù)開發(fā)人員的參考書和培訓(xùn)教材，也可供相關(guān)專業(yè)的研究生或高年級本科生使用。
增強現(xiàn)實（augmented reality）技術(shù)旨在增強人類的感知能力。隨著相關(guān)技術(shù)（如圖像圖形處理技術(shù)、模式識別技術(shù)、多媒體技術(shù)、信息技術(shù)等）以及顯示與跟蹤設(shè)備的高速發(fā)展，增強現(xiàn)實技術(shù)開始邁出實驗室，在醫(yī)療、交通、教育培訓(xùn)、航天、工業(yè)維修等領(lǐng)域得到初步的應(yīng)用。樂觀者甚至預(yù)言，不久的將來增強現(xiàn)實終端有可能會取代智能手機等移動終端，成為下一代智能計算與顯示平臺，在各個專業(yè)領(lǐng)域得到大規(guī)模應(yīng)用，并將以顛覆性的方式改變?nèi)藢κ澜绲恼J知手段，從而極大地改變我們的生活方式。
增強現(xiàn)實（augmented reality）技術(shù)旨在增強人類的感知能力。隨著相關(guān)技術(shù)（如圖像圖形處理技術(shù)、模式識別技術(shù)、多媒體技術(shù)、信息技術(shù)等）以及顯示與跟蹤設(shè)備的高速發(fā)展，增強現(xiàn)實技術(shù)開始邁出實驗室，在醫(yī)療、交通、教育培訓(xùn)、航天、工業(yè)維修等領(lǐng)域得到初步的應(yīng)用。樂觀者甚至預(yù)言，不久的將來增強現(xiàn)實終端有可能會取代智能手機等移動終端，成為下一代智能計算與顯示平臺，在各個專業(yè)領(lǐng)域得到大規(guī)模應(yīng)用，并將以顛覆性的方式改變?nèi)藢κ澜绲恼J知手段，從而極大地改變我們的生活方式。誠然，科學(xué)需要幻想，但新技術(shù)的進步和應(yīng)用更需要腳踏實地的探索和實踐。本書作者團隊自1999年開始涉足虛擬現(xiàn)實領(lǐng)域的探索，并一直將重點聚焦在增強現(xiàn)實交互方法、交互設(shè)備及增強現(xiàn)實應(yīng)用系統(tǒng)的開發(fā)上面。近年來，先后承擔了與增強現(xiàn)實研究相關(guān)的國家自然科學(xué)基金項目、國家科技重點研究項目、國家質(zhì)量監(jiān)督檢驗檢疫總局項目、廣東省科技計劃項目、廣州市科技計劃項目和企業(yè)委托開發(fā)項目等一批研究開發(fā)項目，積累了一些增強現(xiàn)實技術(shù)研究和增強現(xiàn)實應(yīng)用系統(tǒng)開發(fā)的經(jīng)驗。本書作者所在課題組還在廣東工業(yè)大學(xué)開設(shè)了虛擬現(xiàn)實技術(shù)原理與應(yīng)用的研究生課程及適應(yīng)不同專業(yè)本科生選修的走進虛擬現(xiàn)實課程。為了便于正在從事增強現(xiàn)實相關(guān)研究工作的研究生和技術(shù)研發(fā)人員更加深入地了解增強現(xiàn)實、開發(fā)增強現(xiàn)實應(yīng)用系統(tǒng)，遂產(chǎn)生了編撰此書的想法。本書著眼于增強現(xiàn)實交互理論及其實現(xiàn)方法，對制約增強現(xiàn)實交互性水平的核心技術(shù)的注冊技術(shù)進行了較為系統(tǒng)的介紹和研究，包括增強現(xiàn)實注冊的空間坐標體系架構(gòu)、理論模型、關(guān)鍵參數(shù)、求解方法、注冊穩(wěn)定性的影響要素分析等。此舉的目的是為讀者呈現(xiàn)增強現(xiàn)實注冊的完整模型，并幫助其把握增強現(xiàn)實注冊的核心問題和內(nèi)在本質(zhì)，為研究新的注冊算法和開發(fā)增強現(xiàn)實應(yīng)用系統(tǒng)打下基礎(chǔ)。至于對增強現(xiàn)實交互方法的研究，本書力圖既呈現(xiàn)相對傳統(tǒng)的交互方法（如基于標志的交互），又呈現(xiàn)新的研究成果（如基于自然特征點的注冊、視覺交互等）。理論聯(lián)系實際是編著本書遵循的一個基本原則，因此結(jié)合作者團隊的應(yīng)用開發(fā)項目，本書較為系統(tǒng)地將增強現(xiàn)實應(yīng)用系統(tǒng)開發(fā)的基本思路、基本流程，以及如何應(yīng)用本書的理論模型與算法等都一一呈現(xiàn)給讀者。希望讀者能夠通過本書掌握基本原理、理論與方法，并能夠從中學(xué)習到實際工程應(yīng)用系統(tǒng)的開發(fā)技術(shù)，共同推動增強現(xiàn)實技術(shù)的創(chuàng)新與應(yīng)用。增強現(xiàn)實交互方法與實現(xiàn)多年來，本書作者及所在課題組在虛擬現(xiàn)實與增強現(xiàn)實研究中獲得了多項研究基金和研究計劃項目的資助，其中有國家自然科學(xué)基金、廣東省科技計劃項目、廣州市科技計劃項目、國家質(zhì)量監(jiān)督檢驗檢疫總局項目等資助。作者對這些研究基金和研究計劃給予的資助表示衷心的感謝！本書的研究成果得益于作者所在的課題團隊，需要特別感謝李晉芳副教授、胡兆勇副教授、莫建清講師、韋宇煒講師、楊賢助理研究員為營造良好團隊氛圍所起的帶頭作用！二十多年來，大家彼此尊重，崇尚學(xué)術(shù)，無論在何種境況下都保持了對虛擬現(xiàn)實/增強現(xiàn)實研究的專注，并積極將技術(shù)付諸應(yīng)用。此外，還要感謝為團隊研究做出貢獻的歷屆博士生、碩士生！武漢理工大學(xué)陳定方教授、華中科技大學(xué)孫容磊教授等專家審閱了本書，他們對書稿的完善提出了很多寶貴建議，在此表示誠摯的謝意！感謝課題組朱騰博士后、梁劍斌博士、陳永彬博士、鄒序焱博士等在本書撰寫過程中提供的支持與幫助！他們?yōu)楸緯母惰髯龀隽撕艽蟮呢暙I。增強現(xiàn)實內(nèi)容十分廣泛，涉及諸多學(xué)科領(lǐng)域，在發(fā)展過程中有些概念和提法還不統(tǒng)一，加之作者水平有限，書中不妥之處在所難免，懇請讀者批評指正！
何漢武，博士，教授，博士生導(dǎo)師�，F(xiàn)任廣東工貿(mào)職業(yè)技術(shù)學(xué)院院長，廣東省虛擬現(xiàn)實及可視化工程技術(shù)研究中心主任，廣東工業(yè)大學(xué)現(xiàn)代制造與智能裝備虛擬仿真實驗教學(xué)中心主任。中國高校制造自動化研究會理事，中國人工智能學(xué)會智能制造專業(yè)委員會副主任。廣東省千百十人才工程省級培養(yǎng)對象。2007年廣東省南粵優(yōu)秀教師。主要從事數(shù)字化設(shè)計與制造，計算機視覺處理、增強現(xiàn)實交互方法與技術(shù)研究。聯(lián)合主持國家863項目1項，主持國家自然科學(xué)基金2項，主持廣東省科技項目及企業(yè)委托項目20多項。參加的機器人離線編程系統(tǒng)HOLPS及應(yīng)用項目獲1995年國家科技進步三等獎。
第1章緒論（1）
1.1增強現(xiàn)實概述（1）
1.1.1增強現(xiàn)實的內(nèi)涵（1）
1.1.2增強現(xiàn)實與虛擬現(xiàn)實的區(qū)別（2）
1.1.3增強現(xiàn)實的特點（4）
1.2增強現(xiàn)實人機交互技術(shù)所面臨的挑戰(zhàn)（4）
1.3增強現(xiàn)實在各行業(yè)的應(yīng)用（9）
1.3.1增強現(xiàn)實在工業(yè)上的應(yīng)用（9）
1.3.2增強現(xiàn)實在醫(yī)療上的應(yīng)用（12）
1.3.3增強現(xiàn)實在娛樂游戲行業(yè)中的應(yīng)用（13）
1.3.4增強現(xiàn)實在教育行業(yè)上的應(yīng)用（14）
1.4本書重要內(nèi)容（15）
參考文獻（16）
第2章增強現(xiàn)實的理論基礎(chǔ)與設(shè)備（22）
2.1增強現(xiàn)實的空間坐標系（22）
2.1.1成像坐標系（23）
2.1.2觀察坐標系（攝像機坐標系）（24）
2.1.3世界坐標系（26）
2.1.4虛擬世界坐標系（26）
2.2攝像機成像模型及其標定方法（26）
2.2.1攝像機成像模型（27）
2.2.2攝像機的標定方法（30）
2.3攝像機位姿估算（35）
2.4增強現(xiàn)實常用設(shè)備（37）
2.4.1攝像機（37）
2.4.2跟蹤傳感器（39）
2.4.3體感交互設(shè)備（41）
2.4.4可穿戴增強顯示設(shè)備（42）
參考文獻（45）
增強現(xiàn)實交互方法與實現(xiàn)目錄第3章基于標識的增強現(xiàn)實交互方法（47）
3.1基于標識的注冊算法原理（47）
3.2基于正方形標識的增強現(xiàn)實系統(tǒng)基本算法原理（49）
3.2.1正方形標識的設(shè)計思路（49）
3.2.2基于正方形標識的增強現(xiàn)實系統(tǒng)的坐標系定義（51）
3.2.3正方形標識的注冊算法原理（52）
3.2.4正方形標識的編碼識別（54）
3.2.5基于標識注冊算法的影響因素討論（56）
3.3基于正方形標識的交互方法與基本算法原理（60）
3.3.1常見的基于正方形標識的交互方法（61）
3.3.2基于正方形標識的交互方法基本算法原理（62）
3.4基于ARToolKit開發(fā)包的增強現(xiàn)實系統(tǒng)實現(xiàn)流程（65）
3.4.1ARToolKit開發(fā)包的工作原理（65）
3.4.2ARToolKit開發(fā)包的開發(fā)前準備（65）
3.4.3ARToolKit開發(fā)包的開發(fā)框架（67）
參考文獻（68）
第4章基于數(shù)據(jù)手套的增強現(xiàn)實交互方法（70）
4.1數(shù)據(jù)手套的功能分析（70）
4.1.1數(shù)據(jù)手套的基本參數(shù)（70）
4.1.2數(shù)據(jù)手套的標定方法（72）
4.2數(shù)據(jù)手套的交互語義模型（75）
4.2.1交互場景設(shè)計（75）
4.2.2交互語義模型（76）
4.3基于數(shù)據(jù)手套的手勢識別算法（81）
4.3.1操作意圖判斷的基本思路（81）
4.3.2靜態(tài)手勢識別（82）
4.3.3動態(tài)手勢識別（86）
參考文獻（88）
第5章基于機器視覺的交互方法（89）
5.1基礎(chǔ)理論與方法（89）
5.1.1徒手交互的基本處理流程（89）
5.1.2雙手交互的操作意圖判斷方法［1］（90）
5.2基于普通攝像頭的徒手交互方法與實現(xiàn)（93）
5.2.1復(fù)雜背景下的手部分割算法（93）
5.2.2基于關(guān)鍵特征點的手勢識別算法（102）
5.3基于Kinect傳感器的體感交互方法與實現(xiàn)（112）
5.3.1Kinect傳感器介紹（112）
5.3.2Kinect傳感器應(yīng)用交互場景要求（113）
5.3.3Kinect SDK輸出的傳感數(shù)據(jù)（113）
5.3.4Kinect傳感器觀察坐標系（116）
5.3.5Kinect傳感器體感交互方法（116）
參考文獻（119）
第6章基于移動終端的增強現(xiàn)實交互方法（120）
6.1移動增強現(xiàn)實的場景重構(gòu)與處理（120）
6.1.1場景重構(gòu)數(shù)學(xué)模型（121）
6.1.2場景重構(gòu)流程與誤差分析（123）
6.1.3場景點云重構(gòu)（124）
6.2移動增強現(xiàn)實中的攝像機跟蹤（131）
6.2.1攝像機跟蹤框架（131）
6.2.2基于稀疏光流的攝像機姿態(tài)估計（134）
6.2.3基于語義SLAM的攝像頭跟蹤優(yōu)化（140）
6.2.4攝像機跟蹤的應(yīng)用（150）
6.3移動增強現(xiàn)實的交互方法與實現(xiàn)（153）
6.3.1基于觸摸屏的交互（153）
6.3.2移動增強現(xiàn)實中的視覺式交互 （163）
參考文獻（170）
第7章增強現(xiàn)實人機交互應(yīng)用系統(tǒng)開發(fā)（172）
7.1基于移動端的油泵拆裝訓(xùn)練系統(tǒng)的設(shè)計與實現(xiàn)（172）
7.1.1案例的背景與意義（172）
7.1.2系統(tǒng)的設(shè)計方案（173）
7.1.3算法原理（180）
7.1.4系統(tǒng)實現(xiàn)（183）
7.2基于數(shù)據(jù)手套的車間布局系統(tǒng)的設(shè)計與實現(xiàn)（185）
7.2.1案例的背景與意義（185）
7.2.2系統(tǒng)硬件平臺設(shè)計（186）
7.2.3系統(tǒng)軟件平臺設(shè)計（188）
7.2.4車間布局的交互語義模型（193）
7.2.5車間布局系統(tǒng)的實現(xiàn)（194）
7.3正方形標識工具車間布局系統(tǒng)的設(shè)計與實現(xiàn)（197）
7.3.1案例的意義與背景（197）
7.3.2系統(tǒng)的設(shè)計方案（198）
7.3.3算法原理（204）
7.3.4系統(tǒng)實現(xiàn)（206）
7.4體感交互技術(shù)在虛擬機器人示教中的應(yīng)用（209）
7.4.1案例的背景與意義（209）
7.4.2系統(tǒng)設(shè)計方案（210）
7.4.3系統(tǒng)實現(xiàn)（212）
7.4.4程序?qū)崿F(xiàn)原理與要點（219）
7.5基于Hololens的布線輔助系統(tǒng)的設(shè)計與實現(xiàn)（223）
7.5.1案例的意義與背景（223）
7.5.2系統(tǒng)的設(shè)計方案（224）
7.5.3系統(tǒng)實現(xiàn)（228）
書單推薦
