《虛擬現實開發(fā)基礎(AR版)》首先介紹虛擬系統(tǒng)實現所需的基本知識,涉及虛擬現實技術的基本概念、特點、應用等內容,以及感知基礎、硬件基礎、數學基礎、編程基礎以及建;A等內容; 然后對各類系統(tǒng)的技術實現進行講解,包括基于HTC VIVE、基于智能手機、基于投影的虛擬現實系統(tǒng)、混合現實系統(tǒng)以及全息顯示系統(tǒng)等各類應用系統(tǒng); 后介紹虛擬現實系統(tǒng)的評價方法。通過本書的學習,讀者可以較好地掌握虛擬現實的基本知識和相關開發(fā)技術,并學以致用。 本書適合作為高等學;蚋呗毟邔T盒O嚓P專業(yè)的教材,也可作為虛擬現實研究人員或應用開發(fā)人員的參考用書。
《虛擬現實開發(fā)基礎(AR版)》詳解Unity3D環(huán)境下多個虛擬現實系統(tǒng)(包括基于HTC VIVE、Hololens、手機及投影)的完整開發(fā)流程,提供全部源碼。
手機掃描書中圖片,直接觀看AR演示視頻。
講解虛擬現實系統(tǒng)開發(fā)的基礎原理和技術。
虛擬現實(Virtual Reality,VR)技術主要是通過計算機模擬產生一個3D虛擬世界,讓用戶在其中通過視覺、聽覺、觸覺等感知體驗,產生身臨其境的感覺。雖然虛擬現實技術已有幾十年的發(fā)展歷史,但由于設備昂貴、交互體驗不理想、內容生成成本高等原因,其應用一直比較有限。直到2014年,Facebook公司收購Oculus,被認為是虛擬現實成為未來計算平臺的標志性事件。幾乎同時,日本索尼公司也宣布了自己的虛擬現實項目Morpheus。微軟公司也于2015年1月發(fā)布了增強現實頭戴設備HoloLens。2015年6月,迪士尼互動娛樂公司宣布正將傳統(tǒng)游戲拓展至虛擬現實世界,打造虛擬現實樂園。目前,虛擬現實已經成為國內外學術界研究的熱點,也成為產業(yè)界投資的重點領域,使得虛擬現實技術在教育、航天、醫(yī)療、娛樂等眾多領域得到廣泛應用。
2016年,國務院在《十三五國家信息化規(guī)則》《國家創(chuàng)新驅動發(fā)展戰(zhàn)略綱要》等文件中就明確指出加強VR等新技術的研發(fā)和前沿布局。2017年國務院印發(fā)的《新一代人工智能發(fā)展規(guī)劃》提出大力發(fā)展虛擬現實,建立虛擬現實的技術、產品、服務標準和評價體系,推動重點行業(yè)融合應用。2018年工信部發(fā)布《關于加快推進虛擬現實產業(yè)發(fā)展的指導意見》,提出加快我國VR產業(yè)發(fā)展。國家發(fā)改委在《產業(yè)結構調整指導目錄(2019年本)》中將虛擬現實列入鼓勵類產業(yè),這意味著國家已經將這項技術歸入新一輪世界科技革命和產業(yè)變革之中。教育部則在《普通高等學校高等職業(yè)教育(?)專業(yè)目錄》中設置虛擬現實應用技術專業(yè),從2019年開始實行,并于2020年2月將虛擬現實技術本科專業(yè)納入《普通高等學校本科專業(yè)目錄(2020年版)》。
山東大學是國內較早研究虛擬現實技術并開設虛擬現實課程的高校之一。在十三五國家重點研發(fā)計劃云端融合的自然交互設備與工具(2016YFB1001403)面向服刑人員心理矯治的VR訓練裝備及系統(tǒng)研發(fā)(2018YFC0831003)以及國家自然科學基金面向頭盔式虛擬現實系統(tǒng)的人體移動交互技術研究(61972233)基于多道生理信號的心流體驗識別及心流調節(jié)型VR系統(tǒng)研發(fā)(6180070421)的資助下,結合多年來的教學實踐,作者將近年的工作進行歸納整理,形成本書。
本書的特色之一是側重虛擬現實技術的實際應用,比較全面地介紹與虛擬現實開發(fā)相關的基礎知識,及各種類型的虛擬現實系統(tǒng)的實現方法。本書首先簡單介紹系統(tǒng)實現所需的基本知識,然后側重對各類系統(tǒng)的技術實現進行講解,涉及虛擬現實技術的基本概念、特點、應用等,以及感知、硬件、數學、編程、建模等基礎知識。然后介紹了頭盔式虛擬現實系統(tǒng)、基于投影的虛擬現實系統(tǒng)、混合現實系統(tǒng)以及VR全景視頻系統(tǒng)等各類VR應用系統(tǒng),也對全息顯示系統(tǒng)進行了介紹。后針對虛擬現實系統(tǒng)的評價方法進行了系統(tǒng)的整理和介紹,也具有實戰(zhàn)操作指南的性質。希望通過本書的學習,讀者可以比較全面地了解、掌握虛擬現實的基本知識和相關開發(fā)技術,能夠學以致用。本書適合作為高等學;蚋呗毟邔T盒O嚓P專業(yè)的教材,也可作為虛擬現實研究人員或應用開發(fā)人員的參考用書。
本書的另一特色是采用AR技術演示書中部分內容,使得讀者在閱讀本書的時候,通過手機掃描書中相應部分圖片即可看到以2D/3D動畫、普通視頻、VR視頻或VR系統(tǒng)演示的形式對相關內容的講解,從而加深對書中知識的理解。
本書主要由楊承磊、關東東、蓋偉、卞玉龍、劉娟執(zhí)筆撰寫,劉娟設計了AR演示內容。本書第1章由楊承磊、蓋偉編寫,第2章由關東東、楊承磊編寫,第3章由卞玉龍、楊承磊編寫,第4章由楊承磊、關東東編寫,第5章由關東東編寫,第6章由關東東、劉娟編寫,第7章由劉娟、楊承磊編寫,第8章由蓋偉、卞玉龍編寫,第9章由蓋偉、楊承磊編寫,第10章由蓋偉、劉娟編寫,第11章由劉娟、關東東編寫,第12章由卞玉龍編寫。孫維思、秦溥、周士勝、趙思偉、李慧宇、王秋晨、邢歡、孫千慧、馬鳴聰、陳葉青、宋英潔、靳新培、耿文秀、鄭雅文等研究生參與了書中程序的開發(fā)和部分內容的編寫工作,上海恒潤文化集團有限公司副總裁王宇、濟南奧維信息科技有限公司總經理李軍提供了部分素材。書中部分圖片和內容引自互聯網,有些難以確定作者或出處,故在本書中沒有標注,請相關作者海涵。
本書由楊承磊、關東東、蓋偉統(tǒng)稿、修改和審定。由于時間倉促,編者水平有限,書中內容或有局限、欠妥之處,懇請讀者和同行不吝指正。
本書的配套課件、教學大綱、書中程序代碼及Unity3D、Maya操作演示視頻等資源可以從清華大學出版社官方網站www.tup.com.cn或清華大學出版社官方微信公眾號書圈(itshuquan)下載。讀者如有關于本書及資源使用的問題與建議,請發(fā)郵件至404905510@qq.com。
編者
2020年12月
觀看視頻說明
本書配套視頻300分鐘,一部分視頻是掃圖片觀看(用AR技術實現),一部分視頻是掃二維碼觀看,還有部分視頻更適合在計算機上觀看,因此作為網絡資源直接提供下載。本書視頻目錄可通過圖1所示的二維碼獲取。
(1) 用手機掃描如圖2所示的二維碼,下載文泉云盤APP,安裝后用微信賬號登錄。
(2) 登錄后,掃描本書封底文泉云盤涂層下的二維碼,綁定微信賬號,即可獲得觀看視頻權限。
(3) 書中部分圖的旁邊有如圖3所示的標識,在文泉云盤APP中掃描這些圖片(打開掃一掃窗口,先單擊窗口左下角的、如圖4所示的圖標,再掃描圖片),即可觀看視頻。
在文泉云盤APP中或微信中掃描書中二維碼(用APP掃碼時,先單擊窗口右下角的二維碼圖標再掃碼),即可觀看視頻。
楊承磊,男,于1995、1998、2004年先后獲得山東大學計算機應用專業(yè)理學學士學位、計算機軟件與理論專業(yè)工學碩士和博士學位。目前為山東大學計算機科學與技術學院教授。2007年1至7月在香港大學計算機科學系開展合作研究,2010年6月至2011年6月在哈佛大學做訪問學者。
研究主要圍繞工業(yè)CAD、文化與自然遺產保護、數字娛樂與遠程教育等應用領域,重點開展離散計算幾何、人機交互與虛擬現實等方面的理論研究與項目研發(fā)工作。先后主持國家自然科學基金3項、國家支撐計劃課題1項和省部級項目4項,并作為學術骨干參與完成了國家973計劃、863計劃等10多項、省部級科研課題,作為骨干成員參與研發(fā)出集成化計算機輔助圖案設計與制版系統(tǒng)等系統(tǒng)軟件,獲得國家科技進步獎二等獎1項、教育部科技進步獎二等獎1項以及山東省科技進步獎三等獎1項。目前在CAD、C&G、The Visual Computer、中國科學、軟件學報、計算機學報等國內外主要學術刊物與會議上發(fā)表論文50余篇。與他人合著《Voronoi圖及其應用》、《計算幾何及應用》、《人機交互基礎教程(第2版)(普通高等教育十一五規(guī)劃教材)》等專著和教材。
第1章概述
1.1基本概念
1.1.1什么是虛擬現實
1.1.2虛擬現實系統(tǒng)分類
1.2發(fā)展歷史與趨勢
1.3應用領域
習題
第2章數學基礎
2.1坐標系、矢量與矩陣
2.1.1坐標系
2.1.2向量與向量運算
2.1.3矩陣與矩陣運算
2.2空間旋轉變換表示與計算
2.2.1旋轉矩陣
2.2.2歐拉角
2.2.3旋轉軸旋轉角表示
2.2.4四元數
2.2.5旋轉表示形式之間的轉換
2.3坐標系的轉換
2.3.1齊次坐標系與齊次變換矩陣
2.3.2右手坐標系與左手坐標系之間的轉換
2.3.3局部坐標系向世界坐標系的轉換
2.3.4世界坐標系向相機坐標系的轉換
2.3.5相機坐標系向屏幕坐標系的轉換
習題
第3章感知基礎
3.1感知原理
3.2視覺
3.2.1視覺的生理機制
3.2.2人眼的視覺暫留現象
3.2.3眼球運動
3.2.4深度感知與立體視覺
3.2.5顏色感知
3.3聽覺
3.3.1聽覺的生理機制
3.3.2虛擬環(huán)境中的聽覺內容設計
3.3.3聽覺定位與立體聲
3.4體覺
3.4.1觸覺和力覺
3.4.2本體感覺
習題
第4章硬件基礎
4.1輸入設備
4.1.1Kinect
4.1.2HTC VIVE定位設備
4.1.3超寬帶無線定位設備
4.1.4慣性測量單元
4.1.5手勢輸入設備
4.2輸出設備
4.2.1立體顯示設備
4.2.2動感平臺
習題
第5章編程基礎
5.1Unity3D編程基礎
5.1.1Unity3D簡介
5.1.2Unity3D集成開發(fā)界面基本操作
5.1.3動畫角色控制
5.1.4虛擬相機設置
5.1.5Unity3D中函數體的執(zhí)行順序
5.2投影式VR系統(tǒng)開發(fā)環(huán)境
5.2.1視差與立體顯示效果的關系
5.2.2渲染立體圖像
5.2.3播放立體視頻
5.3HTC VIVE開發(fā)環(huán)境
5.3.1環(huán)境配置
5.3.2HTC VIVE頭盔
5.3.3HTC VIVE手柄交互
5.4HoloLens開發(fā)環(huán)境
5.4.1環(huán)境配置
5.4.2開發(fā)實例
5.4.3交互實現
習題
第6章建模基礎
6.13D模型基礎知識
6.1.13D模型的組成
6.1.2建模的主要方法
6.2Maya建?蜋C實例
6.3無人機建模實例
習題
第7章VR全景視頻播放系統(tǒng)
7.1VR視頻錄制
7.2VR視頻播放系統(tǒng)
習題
第8章頭盔式VR系統(tǒng)
8.1基于HTC VIVE的VR系統(tǒng)
8.1.1系統(tǒng)設計
8.1.2系統(tǒng)實現
8.2基于智能手機的VR系統(tǒng)
8.2.1系統(tǒng)設計
8.2.2系統(tǒng)實現
習題
第9章投影式VR系統(tǒng)
9.1虛擬射擊影院系統(tǒng)
9.1.1系統(tǒng)設計
9.1.2系統(tǒng)實現
9.2基于雙畫的虛擬網球游戲系統(tǒng)
9.3房間式互動投影系統(tǒng)
9.3.1系統(tǒng)設計
9.3.2系統(tǒng)實現
9.4360全景球幕播放系統(tǒng)
9.4.1系統(tǒng)設計
9.4.2系統(tǒng)實現
習題
第10章混合現實系統(tǒng)
10.1基于HoloLens的計算機動畫課程教學系統(tǒng)
10.1.1系統(tǒng)設計
10.1.2系統(tǒng)實現
10.2基于魚缸的混合現實教學系統(tǒng)
10.2.1系統(tǒng)設計
10.2.2系統(tǒng)實現
習題
第11章全息視頻播放系統(tǒng)
11.1全息攝影與全息投影技術
11.1.1全息攝影
11.1.2全息投影
11.2全息投影視頻制作
11.2.1視頻內容設計
11.2.2三維模型制作
11.2.3三維動畫制作
11.2.4燈光與渲染
11.2.5特效制作
11.2.6后期剪輯與輸出
11.2.7Unity3D設置視頻輸出及控制視頻播放方法
11.3Unity3D實時渲染輸出
習題
第12章VR系統(tǒng)評估
12.1VR系統(tǒng)評估的主要內容
12.1.1可用性評估
12.1.2用戶體驗評估
12.1.3常見的用戶體驗測量數據類型和采集方法
12.2VR系統(tǒng)評估測試的實施
12.2.1倫理問題
12.2.2基本流程
12.2.3被試選擇
12.2.4研究設計
12.2.5實驗環(huán)境和材料的準備
12.2.6數據分析和呈現
12.2.7討論
12.3VR系統(tǒng)測試案例
12.3.1案例1: 基于虛擬迷宮系統(tǒng)的測試
12.3.2案例2: 基于虛擬射擊影院系統(tǒng)的測試
12.3.3案例3: 三類3D顯示技術的比較研究
習題
附錄A旋轉軸旋轉角與旋轉矩陣之間的轉換推導
附錄B四元數旋轉公式的推導與理解
附錄C立體顯示投影矩陣推導
參考文獻