這是一本全面、詳細(xì)講解WebRTC技術(shù)以及如何使用它構(gòu)建一個可商用的視頻會議系統(tǒng)的著作。
技術(shù)維度，本書不僅詳細(xì)講解了WebRTC規(guī)范和全部API、信令系統(tǒng)、底層技術(shù)、移動端和服務(wù)端實現(xiàn)，而且還總結(jié)了作者多年來的“踩坑”經(jīng)驗；實戰(zhàn)維度，本書不僅提供了可直接應(yīng)用于視頻會議和在線教育等場景的真實案例，而且開源了一個可商用的視頻會議系統(tǒng)WiLearning，教讀者如何從0到1搭建一個高并發(fā)、易擴(kuò)展的視頻會議系統(tǒng)。
【全書一共10章】
第1章介紹了WebRTC的歷史、技術(shù)架構(gòu)、網(wǎng)絡(luò)拓?fù)�、兼容性等�?nèi)容。
第2章講解了使用WebRTC API獲取本地攝像頭、話筒、桌面等媒體流的方法，以及媒體流的錄制、使用canvas操作媒體流的方法和示例。
第3章講解了WebRTC底層使用的傳輸技術(shù)，如ICE、SDP、STUN/TURN等。
第4章介紹了使用RTCPeerConnection管理WebRTC連接的方法。
第5章介紹了WebRTC的媒體管理方法，結(jié)合示例演示了切換編碼格式、控制視頻碼率、替換視頻背景的方法。
第6章結(jié)合實例介紹一種高效、實時的信令系統(tǒng)實現(xiàn)方法，并實現(xiàn)一個可以在生產(chǎn)環(huán)境中使用的信令系統(tǒng)。
第7章介紹了使用WebRTC數(shù)據(jù)通道傳輸任意數(shù)據(jù)的方法，結(jié)合示例演示了基于P2P的文本聊天以及文件傳輸功能的實現(xiàn)。
第8章介紹了使用WebRTC獲取媒體流相關(guān)統(tǒng)計數(shù)據(jù)的方法，在示例中演示如何使用Chart.js繪圖展示實時碼率。
第9章介紹了在Android、iOS開發(fā)環(huán)境中使用WebRTC的方法，通過實例實現(xiàn)了基于WebRTC的視頻聊天App。
第10章結(jié)合筆者的開源項目WiLearning介紹了從0到1打造高性能視頻會議系統(tǒng)的方法。
適讀人群 ：實時直播技術(shù)研發(fā)人員、架構(gòu)師、CTO。1．了解實時直播的技術(shù)趨勢和實現(xiàn)方案2．WebRTC 核心API講解及實例3．WebRTC在Web、IOS、Android中的應(yīng)用4．使用WebRTC設(shè)計及實現(xiàn)視頻會 （1）本書得到了來自阿里云、金山云等企業(yè)的多位音視頻技術(shù)專家的高度評價。
（2）作者在音視頻領(lǐng)域有多年開發(fā)經(jīng)驗，對WebRTC有深入研究，利用WebRTC技術(shù)開發(fā)了直播、在線課堂、視頻會議等商業(yè)產(chǎn)品，并發(fā)用戶數(shù)達(dá)到500萬。
（3）技術(shù)維度，詳細(xì)講解了WebRTC規(guī)范和全部API、信令系統(tǒng)、底層技術(shù)、移動端和服務(wù)端實現(xiàn)，總結(jié)作者多年來的“踩坑”經(jīng)驗；
（4）實戰(zhàn)維度，提供了可直接應(yīng)用于視頻會議和在線教育等場景的真實案例，開源了一個可商用的視頻會議系統(tǒng)WiLearning，
（5）本書將手把手教讀者如何從0到1搭建一個高并發(fā)、易擴(kuò)展的視頻會議系統(tǒng)和一個視頻聊天APP。
（6）本書提供的示例代碼以及開源項目WiLearning可以在GitHub上免費獲取，掃描封底二維碼關(guān)注“華章計算機(jī)”回復(fù)“67844”獲取地址。
【為什么要寫這本書】
最早接觸WebRTC技術(shù)是在2015年，那時需要在直播產(chǎn)品中增加實時連麥的功能，經(jīng)過對幾種技術(shù)進(jìn)行對比，最終我選擇了WebRTC。當(dāng)時WebRTC技術(shù)還不夠成熟，相關(guān)資料非常少，在產(chǎn)品中使用WebRTC技術(shù)的難度非常大，往往為了弄清楚某個概念、某個API的用法，需要查閱大量的英文資料，而且遇到問題解決起來非常棘手。
從最初的原生WebRTC，到多點控制單元（MCU），再到各種選擇性轉(zhuǎn)發(fā)單元（SFU），我在使用WebRTC的過程中一直不斷學(xué)習(xí)新的知識，不斷解決新的問題，同時也逐步加深了對WebRTC技術(shù)的理解和認(rèn)識。
因為踩過許多坑，所以我深刻體會到了WebRTC技術(shù)的難度和廣度。WebRTC技術(shù)包含了音視頻編解碼技術(shù)、傳輸技術(shù)、流媒體服務(wù)器技術(shù)等，涵蓋了音視頻處理和傳輸?shù)姆椒矫婷妗＿@些技術(shù)中任意一個都能成為獨立的課題，都值得花大量時間深入研究。除此之外，理解WebRTC相關(guān)API，還必須掌握現(xiàn)代Web技術(shù)，尤其是ES6、Promise等語法知識�？梢�，學(xué)習(xí)WebRTC技術(shù)需要掌握大量的預(yù)備知識，這對于初學(xué)者來說有一定的門檻。
非常遺憾的是，時至今日仍沒有一本中文書能夠系統(tǒng)地涵蓋WebRTC的技術(shù)內(nèi)容，剝離層層技術(shù)面紗將WebRTC呈現(xiàn)給國內(nèi)技術(shù)人員。
在實時通信產(chǎn)品大爆發(fā)的時期，為什么WebRTC的中文技術(shù)資料如此之少？我想可能有以下幾個原因。
●WebRTC技術(shù)規(guī)范都是英文文檔，缺少使用示例，故而讀起來晦澀難懂，加大了WebRTC的學(xué)習(xí)難度。
●WebRTC技術(shù)較新，專業(yè)性較強(qiáng)，能真正理解并掌握其精髓的技術(shù)人員較少。
●國內(nèi)技術(shù)人員工作壓力大，資深WebRTC技術(shù)人員忙于項目，沒有時間總結(jié)經(jīng)驗并分享。
●WebRTC技術(shù)覆蓋面廣，難以講深、講透，針對某個技術(shù)點的分享容易實現(xiàn)，但要系統(tǒng)講解技術(shù)內(nèi)幕則非常難。
撰寫一本能夠降低國內(nèi)技術(shù)人員使用WebRTC的門檻，能夠幫助研發(fā)人員更好地將WebRTC技術(shù)應(yīng)用到產(chǎn)品中的書，是我編寫本書的出發(fā)點。
作為一名較早使用WebRTC的技術(shù)人員，我一直關(guān)注WebRTC技術(shù)的發(fā)展，在日常使用過程中積累了大量學(xué)習(xí)筆記和經(jīng)驗，這些都為撰寫本書提供了素材。
本書對WebRTC 1.0規(guī)范的內(nèi)容進(jìn)行了系統(tǒng)整理，以一種易于理解的形式呈現(xiàn)給讀者。書中還給出了我的“踩坑”經(jīng)驗和一些實用的案例，幫助讀者全面認(rèn)識WebRTC。
WebRTC降低了實時通信技術(shù)的門檻，使得之前只有互聯(lián)網(wǎng)巨頭才能掌握的實時通信技術(shù)得以普及，使得我們能夠在家遠(yuǎn)程辦公，孩子們能夠“停課不停學(xué)”。相信在5G普及之后，WebRTC還會迎來更加蓬勃的發(fā)展。
可以預(yù)見，未來將有更多技術(shù)人員學(xué)習(xí)并應(yīng)用WebRTC，希望本書能夠幫助大家輕松踏入WebRTC的技術(shù)殿堂！
【讀者對象】
實時通信產(chǎn)品的售前、售后、研發(fā)人員，音視頻行業(yè)的架構(gòu)師、CTO等。
【本書特色】
●全面涵蓋WebRTC 1.0規(guī)范。
●詳細(xì)講解WebRTC底層技術(shù)。
●結(jié)合示例演示W(wǎng)ebRTC API的使用。
●從零起步實現(xiàn)高效、實時的信令系統(tǒng)。
●使用WebRTC技術(shù)從0到1打造開源視頻會議系統(tǒng)。
【如何閱讀本書】
本書對WebRTC技術(shù)進(jìn)行了全面的介紹，涵蓋WebRTC 1.0規(guī)范全部API、WebRTC底層技術(shù)、WebRTC在移動端和服務(wù)器端的應(yīng)用等內(nèi)容，并提供了具體的示例，力求做到理論結(jié)合實踐。本書最后使用這些WebRTC知識打造了一個真實的視頻會議系統(tǒng)，同時對高并發(fā)、易擴(kuò)展的視頻會議架構(gòu)進(jìn)行了詳細(xì)講解。
本書分為10章。
●第1章介紹WebRTC的歷史、技術(shù)架構(gòu)、兼容性等內(nèi)容。
●第2章介紹使用WebRTC API獲取本地攝像頭、話筒、桌面等媒體流的方法，以及媒體流的錄制、使用canvas操作媒體流的方法和示例。
●第3章介紹WebRTC底層使用的傳輸技術(shù)，如SDP、ICE、STUN/TURN等。
●第4章介紹使用RTCPeerConnection管理WebRTC連接的方法。
●第5章介紹WebRTC的媒體管理方法，結(jié)合示例演示切換編碼格式、控制視頻碼率、替換視頻背景的方法。
●第6章結(jié)合示例介紹一種高效、實時的信令系統(tǒng)實現(xiàn)方法，并實現(xiàn)一個可以在生產(chǎn)環(huán)境中使用的信令系統(tǒng)。
●第7章介紹使用WebRTC數(shù)據(jù)通道傳輸任意數(shù)據(jù)的方法，結(jié)合示例演示基于P2P的文字聊天以及文件傳輸功能的實現(xiàn)。
●第8章介紹使用WebRTC獲取媒體流相關(guān)統(tǒng)計數(shù)據(jù)的方法，結(jié)合示例演示如何使用Chart.js繪圖展示實時碼率。
●第9章介紹在Android、iOS開發(fā)環(huán)境中使用WebRTC的方法，并實現(xiàn)基于WebRTC的視頻聊天App。
●第10章結(jié)合我的開源項目WiLearning介紹從0到1打造視頻會議系統(tǒng)的方法。
本書提供的示例代碼以及開源項目WiLearning可以在GitHub上免費獲取，掃描封底二維碼關(guān)注“華章計算機(jī)”回復(fù)“67844”獲取地址。
栗偉
資深音視頻技術(shù)專家，在該領(lǐng)域有多年實踐經(jīng)驗，對WebRTC有非常深入的研究。
曾任職于中科院計算所、CC視頻，任職期間利用WebRTC技術(shù)開發(fā)了直播、在線課堂、視頻會議等商業(yè)產(chǎn)品，并發(fā)用戶數(shù)達(dá)到500萬。
開源社區(qū)的積極參與者，在GitHub上開源了視頻會議項目WiLearning，免費供中小企業(yè)使用。
●第1章 WebRTC概述1
1.1 WebRTC的歷史1
1.2 WebRTC的技術(shù)架構(gòu)2
1.3 WebRTC的網(wǎng)絡(luò)拓?fù)?
1.4 Simulcast聯(lián)播4
1.5 可伸縮視頻編碼5
1.6 WebRTC的兼容性5
1.7 其他直播技術(shù)6
1.8 統(tǒng)一計劃與Plan B8
1.9 本章小結(jié)9
●第2章 本地媒體10
2.1 媒體流10
2.1.1 構(gòu)造媒體流11
2.1.2 MediaStream屬性11
2.1.3 MediaStream方法11
2.1.4 MediaStream事件14
2.2 媒體軌道15
2.2.1 MediaStreamTrack屬性15
2.2.2 MediaStreamTrack方法17
2.2.3 MediaStreamTrack事件20
2.3 媒體約束22
2.3.1 約束類型22
2.3.2 數(shù)據(jù)類型與用法23
2.3.3 通用約束25
2.3.4 視頻約束25
2.3.5 音頻約束25
2.3.6 屏幕共享約束26
2.3.7 圖像約束26
2.3.8 約束的advanced屬性27
2.4 媒體設(shè)備28
2.4.1 WebRTC隱私和安全28
2.4.2 獲取攝像頭與話筒29
2.4.3 共享屏幕30
2.4.4 查詢媒體設(shè)備31
2.4.5 監(jiān)聽媒體設(shè)備變化33
2.5 從canvas獲取媒體流34
2.6 從媒體元素獲取媒體流34
2.7 播放媒體流35
2.8 錄制媒體流36
2.8.1 構(gòu)造MediaRecorder36
2.8.2 MediaRecorder屬性37
2.8.3 MediaRecorder方法39
2.8.4 MediaRecorder事件42
2.9 示例45
2.9.1 代碼結(jié)構(gòu)45
2.9.2 獲取圖片像素數(shù)據(jù)46
2.9.3 替換視頻背景47
2.10 本章小結(jié)48
●第3章 傳輸技術(shù)49
3.1 RTP49
3.2 RTCP52
3.3 SRTP/SRTCP54
3.4 TLS/DTLS55
3.5 SDP55
3.6 ICE57
3.7 搭建STUN/TURN服務(wù)器63
3.8 本章小結(jié)65
●第4章 連接管理66
4.1 WebRTC建立連接的過程66
4.1.1 會話描述信息RTCSession-Description69
4.1.2 pending狀態(tài)與current狀態(tài)70
4.1.3 ICE候選者RTCIceCandidate70
4.2 RTCPeerConnection接口72
4.2.1 構(gòu)造函數(shù)RTCPeerConnection73
4.2.2 連接配置RTCConfiguration74
4.2.3 RTCPeerConnection接口的屬性76
4.2.4 RTCPeerConnection接口的方法82
4.2.5 RTCPeerConnection接口的事件90
4.3 完美協(xié)商模式94
4.3.1 SDP沖突問題95
4.3.2 使用完美協(xié)商模式95
4.3.3 再談ICE重啟97
4.4 示例98
4.4.1 運(yùn)行示例98
4.4.2 使用WebSocket99
4.4.3 創(chuàng)建RTCPeerConnection的時機(jī)100
4.5 本章小結(jié)102
●第5章 RTP媒體管理103
5.1 WebRTC編解碼104
5.2 RTCPeerConnection RTP擴(kuò)展110
5.2.1 RTCPeerConnection擴(kuò)展方法111
5.2.2 RTCPeerConnection擴(kuò)展事件113
5.3 傳輸媒體流114
5.3.1 無流軌道115
5.3.2 有流軌道115
5.4 RTP收發(fā)管理116
5.4.1 RTCRtpTransceiver屬性117
5.4.2 RTCRtpTransceiver方法118
5.5 RTP發(fā)送器118
5.5.1 RTCRtpSender屬性119
5.5.2 RTCRtpSender方法119
5.6 RTP接收器123
5.6.1 RTCRtpReceiver屬性123
5.6.2 RTCRtpReceiver方法123
5.7 DTLS傳輸層126
5.7.1 RTCDtlsTransport屬性126
5.7.2 RTCDtlsTransport方法127
5.7.3 RTCDtlsTransport事件127
5.8 ICE傳輸層128
5.8.1 RTCIceTransport屬性128
5.8.2 RTCIceTransport方法130
5.8.3 RTCIceTransport事件132
5.9 使用DTMF134
5.9.1 RTCDTMFSender屬性134
5.9.2 RTCDTMFSender方法135
5.9.3 RTCDTMFSender事件135
5.10 RTC錯誤處理136
5.11 通話的掛起與恢復(fù)137
5.11.1 通話掛起137
5.11.2 通話恢復(fù)138
5.12 示例139
5.12.1 動態(tài)設(shè)置視頻碼率140
5.12.2 使用VP9和H264141
5.12.3 使用虛擬背景144
5.13 本章小結(jié)145
●第6章 信令服務(wù)器146
6.1 使用Node.js147
6.2 使用TypeScript156
6.3 使用Express164
6.4 使用Socket.IO173
6.5 實現(xiàn)信令服務(wù)器179
6.6 實現(xiàn)信令客戶端186
6.7 示例189
6.8 本章小結(jié)191
●第7章 數(shù)據(jù)通道192
7.1 SCTP192
7.2 RTCPeerConnection數(shù)據(jù)通道擴(kuò)展接口196
7.3 RTCSctpTransport199
7.4 RTCDataChannel200
7.5 帶內(nèi)協(xié)商與帶外協(xié)商206
7.6 文字聊天與文件傳輸206
7.7 本章小結(jié)216
●第8章 統(tǒng)計數(shù)據(jù)217
8.1 統(tǒng)計數(shù)據(jù)入口217
8.2 RTCStats及其擴(kuò)展219
8.3 實時碼率監(jiān)測241
8.3.1 使用Chart.js242
8.3.2 獲取碼率數(shù)據(jù)244
8.4 本章小結(jié)247
●第9章 移動端WebRTC248
9.1 原生應(yīng)用與混合應(yīng)用248
9.2 原生開發(fā)環(huán)境249
9.2.1 Android原生開發(fā)環(huán)境249
9.2.2 iOS原生開發(fā)環(huán)境250
9.3 WebView251
9.4 Cordova252
9.4.1 編譯環(huán)境253
9.4.2 全局配置config.xml254
9.4.3 應(yīng)用程序行為preference258
9.4.4 應(yīng)用程序圖標(biāo)icon261
9.4.5 簡單的WebRTC移動應(yīng)用264
9.4.6 調(diào)試Cordova應(yīng)用267
9.5 Ionic Framework268
9.5.1 安裝與使用269
9.5.2 開發(fā)工具269
9.6 基于Ionic的WebRTC移動應(yīng)用270
9.6.1 使用模板創(chuàng)建應(yīng)用程序271
9.6.2 首頁組件272
9.6.3 連接管理服務(wù)275
9.6.4 視頻與聊天組件281
9.6.5 構(gòu)建Android應(yīng)用程序283
9.6.6 構(gòu)建iOS應(yīng)用程序285
9.7 本章小結(jié)286
●第10章 從0到1打造多人視頻會議系統(tǒng)287
10.1 整體設(shè)計287
10.2 媒體服務(wù)器289
10.2.1 OWT289
10.2.2 Kurento289
10.2.3 Janus290
10.2.4 Mediasoup291
10.2.5 媒體服務(wù)器的選擇291
10.3 Mediasoup信令交互過程293
10.4 服務(wù)器端實現(xiàn)294
10.4.1 房間與參與者295
10.4.2 管理與監(jiān)控接口296
10.5 客戶端實現(xiàn)298
10.5.1 發(fā)布媒體流298
10.5.2 訂閱媒體流301
10.5.3 共享桌面303
10.5.4 共享本地媒體303
10.5.5 文檔及白板304
10.5.6 文字聊天307
10.6 傳輸質(zhì)量監(jiān)控308
10.7 從網(wǎng)絡(luò)故障中恢復(fù)309
10.8 本章小結(jié)310
書單推薦
