前 言
2020年年初,寫(xiě)下本書(shū)扉頁(yè)的時(shí)候,我們正處在一個(gè)特殊的歷史背景下——新冠疫情在全球開(kāi)始流行;而2023年年初,本書(shū)寫(xiě)作與編輯工作基本結(jié)束的時(shí)候,我們已經(jīng)基本擺脫了新冠疫情的束縛。令人欣慰的是,我國(guó)GDP總量在2020年首次突破100萬(wàn)億元,達(dá)到全年2.2%的經(jīng)濟(jì)增速。光鮮的GDP數(shù)據(jù)背后依靠的是數(shù)字經(jīng)濟(jì)(尤其在遠(yuǎn)程辦公和數(shù)字抗疫方面)的高速發(fā)展。
大數(shù)據(jù)、區(qū)塊鏈、人工智能、云計(jì)算、物聯(lián)網(wǎng)等新一代信息技術(shù)正對(duì)人類(lèi)社會(huì)的發(fā)展起著越來(lái)越重要的作用。從網(wǎng)絡(luò)熱搜也能看出這些新興技術(shù)的關(guān)注度:我們?cè)诠雀枭纤阉鳌按髷?shù)據(jù)”,大概可以得到8.62億條結(jié)果;搜索“區(qū)塊鏈”時(shí),大概可以得到652萬(wàn)條結(jié)果;搜索“數(shù)據(jù)共享”時(shí),大概可以得到333萬(wàn)條結(jié)果。
可以說(shuō),數(shù)據(jù)承載和記錄了人類(lèi)社會(huì)從萌芽到信息爆炸時(shí)代的文明印記,從結(jié)繩記事時(shí)期到當(dāng)前的大數(shù)據(jù)時(shí)代,都離不開(kāi)數(shù)據(jù)的身影。數(shù)據(jù)在維基百科中被描述為“關(guān)于一個(gè)或多個(gè)人或物體的一組定性或定量變量”,人們?cè)谔岬桨_萬(wàn)象的數(shù)據(jù)時(shí),為了充分體現(xiàn)其5V特性,即Volume(容量)、Velocity(速率)、Variety(多樣性)、Value(價(jià)值)、Veracity(真實(shí)性),往往會(huì)默認(rèn)為“大數(shù)據(jù)”(Big Data)。
而區(qū)塊鏈具備一個(gè)傳奇故事的所有要素:神龍見(jiàn)首不見(jiàn)尾的作者,開(kāi)創(chuàng)性的應(yīng)用,一石激起千層浪的社會(huì)反響。我們不知道,當(dāng)神秘的作者中本聰敲下第一行區(qū)塊鏈代碼時(shí),他是否能夠想象自己的代碼創(chuàng)造出了新奇的、充滿活力的新時(shí)代,F(xiàn)在提到區(qū)塊鏈,人們已逐步從虛擬貨幣轉(zhuǎn)化為關(guān)注技術(shù)本身。未來(lái),區(qū)塊鏈締造的價(jià)值將與數(shù)據(jù)共生。2023年2月份,中共中央、國(guó)務(wù)院印發(fā)的《數(shù)字中國(guó)建設(shè)整體布局規(guī)劃》指出,建設(shè)數(shù)字中國(guó)是數(shù)字時(shí)代推進(jìn)中國(guó)式現(xiàn)代化的重要引擎,是構(gòu)筑國(guó)家競(jìng)爭(zhēng)新優(yōu)勢(shì)的有力支撐。加快數(shù)字中國(guó)建設(shè),對(duì)全面建設(shè)社會(huì)主義現(xiàn)代化國(guó)家、全面推進(jìn)中華民族偉大復(fù)興具有重要意義和深遠(yuǎn)影響。要強(qiáng)化數(shù)字中國(guó)關(guān)鍵能力,一是構(gòu)筑自立自強(qiáng)的數(shù)字技術(shù)創(chuàng)新體系,二是筑牢可信可控的數(shù)字安全屏障。區(qū)塊鏈與數(shù)據(jù)共享技術(shù),都是強(qiáng)化數(shù)字中國(guó)關(guān)鍵能力的有力支撐。
市面上區(qū)塊鏈相關(guān)書(shū)籍已經(jīng)很多,有科普性質(zhì)的,也有開(kāi)發(fā)性質(zhì)的。本書(shū)的作者團(tuán)隊(duì)有幸負(fù)責(zé)或參與研發(fā)了幾個(gè)與區(qū)塊鏈和隱私計(jì)算相關(guān)的數(shù)據(jù)共享系統(tǒng),也在聯(lián)邦學(xué)習(xí)、知識(shí)圖譜等領(lǐng)域進(jìn)行了深入研究,這為本書(shū)的創(chuàng)作提供了很好的素材和知識(shí)、經(jīng)驗(yàn)方面的積累。與其他區(qū)塊鏈書(shū)籍相比,本書(shū)既有區(qū)塊鏈與數(shù)據(jù)共享方面的理論介紹,也有實(shí)驗(yàn)方法、應(yīng)用系統(tǒng)架構(gòu)和實(shí)踐方面的經(jīng)驗(yàn)分享,在強(qiáng)調(diào)理論的同時(shí)注重實(shí)踐和應(yīng)用。
本書(shū)的第1、2章為概述,主要介紹數(shù)據(jù)和數(shù)據(jù)共享的相關(guān)背景;第3、4章側(cè)重基礎(chǔ)理論,分別介紹與數(shù)據(jù)共享相關(guān)的區(qū)塊鏈和隱私保護(hù)技術(shù);第5章側(cè)重工程實(shí)現(xiàn),剖析了數(shù)據(jù)共享平臺(tái)SOLAR的架構(gòu)設(shè)計(jì)與關(guān)鍵代碼;第6~9章側(cè)重行業(yè)應(yīng)用實(shí)踐,分別介紹通用意義的數(shù)據(jù)交易平臺(tái)、醫(yī)療數(shù)據(jù)共享,并拓展到知識(shí)與數(shù)據(jù)共建共享,分析其架構(gòu)設(shè)計(jì)以及區(qū)塊鏈和隱私計(jì)算技術(shù)的應(yīng)用;第10章對(duì)未來(lái)的應(yīng)用進(jìn)行展望。
本書(shū)在撰寫(xiě)過(guò)程中,除了署名的閭海榮、鐘軍、鄭靈、李艷,參與編寫(xiě)人員還包括周容辰、許瑞坤、石順中、沈運(yùn)恒、陶焜等,也得到了非常多師長(zhǎng)、同事和朋友的幫助。感謝清華大學(xué)數(shù)基生命創(chuàng)新群體首席科學(xué)家張學(xué)工教授,給我寬松的研究環(huán)境、學(xué)術(shù)指導(dǎo),并在多個(gè)醫(yī)工交叉方向國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目中應(yīng)用了我們的研究成果,也感謝清華大學(xué)江瑞教授在學(xué)術(shù)研究方面持續(xù)的幫助和支持;感謝深時(shí)數(shù)字地球國(guó)際大科學(xué)計(jì)劃的首席科學(xué)家王成善院士和周成虎院士的指導(dǎo),以及孫旭東、諸云強(qiáng)、杜震洪、羅斌等博士的支持,本書(shū)在知識(shí)與數(shù)據(jù)共建共享章節(jié)中參考了團(tuán)隊(duì)的部分設(shè)計(jì)成果;感謝翼方健數(shù)的羅震博士、霍尼科的唐建鋒博士和福建省大數(shù)據(jù)集團(tuán)的徐曉清女士,授權(quán)我引用其設(shè)計(jì)案例;感謝福州數(shù)據(jù)技術(shù)研究院的陳陽(yáng)紅、李藝暉等,以及清華大學(xué)的研究生王天亨、王豐等,協(xié)助我進(jìn)行了大量校稿和圖片設(shè)計(jì)工作;感謝福州數(shù)據(jù)技術(shù)研究院的服務(wù)團(tuán)隊(duì),給我提供了良好的寫(xiě)作環(huán)境;感謝本書(shū)的編輯章海濤先生,在我一再拖稿的情況下,對(duì)我保持了足夠的耐心,并給予了鼓勵(lì);最后,由衷地感謝我的父母,以及我的妻子和女兒,他們對(duì)我毫無(wú)保留的支持,讓我得以從工業(yè)界回到學(xué)術(shù)界,做自己喜歡的工作。
本書(shū)的撰寫(xiě)得到了國(guó)家自然科學(xué)基金會(huì)“原創(chuàng)探索計(jì)劃”項(xiàng)目NSFC42050101、國(guó)家重點(diǎn)研發(fā)計(jì)劃“生物與信息融合”項(xiàng)目2022YFF1202403、國(guó)家自然科學(xué)基金會(huì)“生物信息學(xué)創(chuàng)新群體”項(xiàng)目NSFC61721003,以及福建省引才“百人計(jì)劃”項(xiàng)目的支持,在此一并表示感謝。
需要說(shuō)明的是,本書(shū)是一本面向工程應(yīng)用實(shí)踐教學(xué)的教科書(shū)或參考讀物,書(shū)中對(duì)區(qū)塊鏈技術(shù)和隱私保護(hù)技術(shù)的核心理論進(jìn)行了介紹,對(duì)技術(shù)細(xì)節(jié)并未大篇幅展開(kāi)介紹,需要對(duì)這兩部分深入了解的同學(xué),可以閱讀相關(guān)專(zhuān)業(yè)書(shū)籍或相關(guān)論文。此外,本書(shū)寫(xiě)作過(guò)程中參詳了大量的團(tuán)隊(duì)和項(xiàng)目組內(nèi)部溝通交流材料,我們進(jìn)行了溯源以追蹤到原始材料的出處,盡可能詳細(xì)羅列了參考文獻(xiàn)并標(biāo)注了引用,但仍有可能有遺漏或錯(cuò)誤之處,歡迎各位讀者提出建議、反饋和指正。
作 者
2023年3月
目錄
第1章引論1
1.1數(shù)據(jù)的前世今生1
1.1.1樸素的記錄時(shí)代1
1.1.2數(shù)字經(jīng)濟(jì)時(shí)代2
1.1.3數(shù)字孿生時(shí)代3
1.2共享是怎么發(fā)展的4
1.2.1共享——古老的美德4
1.2.2數(shù)據(jù)孤島7
1.2.3共享經(jīng)濟(jì)8
1.3當(dāng)數(shù)據(jù)成為生產(chǎn)要素10
1.4數(shù)據(jù)遇上共享,我們能做什么12
本章小結(jié)13
習(xí)題113
參考文獻(xiàn)13
第2章數(shù)據(jù)共享的現(xiàn)狀15
2.1政策因素15
2.1.1支持政策15
2.1.2約束政策17
2.2困難和挑戰(zhàn)18
2.2.1數(shù)據(jù)權(quán)問(wèn)題18
2.2.2隱私保護(hù)問(wèn)題21
2.2.3價(jià)值流動(dòng)閉環(huán)問(wèn)題23
本章小結(jié)26
習(xí)題227
參考文獻(xiàn)27
第3章區(qū)塊鏈與數(shù)據(jù)共享技術(shù)29
3.1區(qū)塊鏈背景介紹29
3.1.1區(qū)塊鏈的概念29
3.1.2區(qū)塊鏈的發(fā)展歷程32
3.1.3區(qū)塊鏈抽象模型34
3.1.4區(qū)塊鏈分類(lèi)39
3.2區(qū)塊鏈的技術(shù)架構(gòu)43
3.2.1數(shù)據(jù)層43
3.2.2網(wǎng)絡(luò)層48
3.2.3共識(shí)層50
3.2.4激勵(lì)層54
3.2.5合約層55
3.2.6應(yīng)用層56
3.3區(qū)塊鏈技術(shù)的拓展57
3.3.1應(yīng)用拓展57
3.3.2性能拓展58
3.3.3跨鏈兼容62
3.4區(qū)塊鏈的經(jīng)典框架63
3.4.1以太坊63
3.4.2HyperledgerFabric66
3.4.3EOS73
3.4.4IOTA74
3.4.5Filecoin75
3.4.6BAFFLE78
3.5基于區(qū)塊鏈的數(shù)據(jù)共享技術(shù)78
3.5.1區(qū)塊鏈自身難適應(yīng)數(shù)據(jù)共享場(chǎng)景79
3.5.2區(qū)塊鏈實(shí)現(xiàn)數(shù)據(jù)共享安全性?xún)?yōu)化79
本章小結(jié)80
習(xí)題380
參考文獻(xiàn)81
第4章隱私保護(hù)與數(shù)據(jù)共享技術(shù)83
4.1隱私保護(hù)簡(jiǎn)介83
4.1.1隱私概念和數(shù)據(jù)匿名84
4.1.2隱私衡量方法86
4.1.3隱私保護(hù)的關(guān)鍵技術(shù)88
4.1.4數(shù)據(jù)發(fā)布隱私保護(hù)89
4.1.5數(shù)據(jù)存儲(chǔ)隱私保護(hù)90
4.1.6數(shù)據(jù)分析隱私保護(hù)93
4.1.7比特幣和區(qū)塊鏈的隱私保護(hù)94
4.2零知識(shí)證明100
4.2.1零知識(shí)證明的基本原理100
4.2.2交互式零知識(shí)證明102
4.2.3非交互式零知識(shí)證明103
4.3同態(tài)計(jì)算105
4.3.1同態(tài)加密的定義、安全性和簡(jiǎn)單實(shí)例105
4.3.2同態(tài)加密的主要類(lèi)型106
4.4安全多方計(jì)算108
4.4.1安全多方計(jì)算的基本概念和數(shù)學(xué)模型108
4.4.2安全多方計(jì)算的應(yīng)用場(chǎng)景與案例介紹110
4.4.3混淆電路110
4.4.4不經(jīng)意傳輸112
4.4.5秘密共享113
4.5聯(lián)邦學(xué)習(xí)114
4.5.1聯(lián)邦學(xué)習(xí)概述115
4.5.2聯(lián)邦學(xué)習(xí)的擴(kuò)展和性能提升116
4.5.3聯(lián)邦學(xué)習(xí)的應(yīng)用119
4.5.4聯(lián)邦學(xué)習(xí)中的隱私保護(hù)解決方案119
4.5.5基于差分隱私的隱私保護(hù)120
4.5.6基于安全多方計(jì)算的隱私保護(hù)121
4.6隱私保護(hù)的其他技術(shù)122
4.6.1基于屬性加密122
4.6.2可搜索加密124
4.6.3代理重加密125
本章小結(jié)128
習(xí)題4129
參考文獻(xiàn)129
第5章數(shù)據(jù)共享系統(tǒng)解析與實(shí)現(xiàn)133
5.1數(shù)據(jù)共享簡(jiǎn)介133
5.1.1數(shù)據(jù)及數(shù)據(jù)產(chǎn)品定義133
5.1.2傳統(tǒng)數(shù)據(jù)共享模式134
5.1.3數(shù)據(jù)共享趨勢(shì)與問(wèn)題135
5.2可信數(shù)據(jù)共享135
5.2.1可信數(shù)據(jù)共享模式136
5.2.2數(shù)據(jù)共享技術(shù)實(shí)現(xiàn)方案136
5.3SOLAR數(shù)據(jù)共享平臺(tái)設(shè)計(jì)139
5.3.1SOLAR平臺(tái)的功能140
5.3.2SOLAR平臺(tái)的架構(gòu)141
5.3.3SOLAR平臺(tái)的技術(shù)選型143
5.3.4SOLAR平臺(tái)的遠(yuǎn)程調(diào)用145
5.3.5中心端功能設(shè)計(jì)146
5.3.6邊緣端功能設(shè)計(jì)149
5.4數(shù)據(jù)共享應(yīng)用系統(tǒng)開(kāi)發(fā)151
5.4.1區(qū)塊鏈智能管理模塊152
5.4.2聯(lián)邦學(xué)習(xí)模塊159
5.4.3邊緣計(jì)算模塊165
5.4.4業(yè)務(wù)邏輯管理模塊169
本章小結(jié)177
習(xí)題5177
參考文獻(xiàn)177
第6章數(shù)據(jù)交易平臺(tái)178
6.1交易平臺(tái)發(fā)展現(xiàn)狀178
6.1.1國(guó)際數(shù)據(jù)交易平臺(tái)179
6.1.2政府主導(dǎo)的國(guó)內(nèi)數(shù)據(jù)交易平臺(tái)180
6.1.3企業(yè)主導(dǎo)的國(guó)內(nèi)數(shù)據(jù)交易平臺(tái)185
6.2數(shù)據(jù)交易平臺(tái)的挑戰(zhàn)188
6.2.1數(shù)據(jù)產(chǎn)品交易特點(diǎn)188
6.2.2交易平臺(tái)設(shè)計(jì)的挑戰(zhàn)189
6.3數(shù)據(jù)分類(lèi)分級(jí)方法192
6.3.1分類(lèi)原則192
6.3.2分類(lèi)方法193
6.3.3分級(jí)原則194
6.3.4分級(jí)方法194
6.3.5數(shù)據(jù)資源共享和開(kāi)放要求196
6.3.6動(dòng)態(tài)分類(lèi)分級(jí)197
6.3.7數(shù)據(jù)資產(chǎn)交易產(chǎn)品類(lèi)型197
6.4數(shù)據(jù)定價(jià)策略及實(shí)例198
6.4.1數(shù)據(jù)定價(jià)策略198
6.4.2數(shù)據(jù)定價(jià)模型198
6.4.3數(shù)據(jù)價(jià)值指數(shù)200
6.4.4數(shù)據(jù)定價(jià)方法優(yōu)化201
6.4.5數(shù)據(jù)定價(jià)實(shí)踐案例202
6.5交易平臺(tái)架構(gòu)設(shè)計(jì)203
6.5.1設(shè)計(jì)思路203
6.5.2模式變革205
6.5.3功能架構(gòu)207
6.5.4業(yè)務(wù)架構(gòu)209
6.5.5技術(shù)架構(gòu)210
6.5.6數(shù)據(jù)架構(gòu)211
6.5.7安全架構(gòu)212
6.6挑戰(zhàn)的應(yīng)對(duì)措施213
6.6.1確權(quán)及合規(guī)性挑戰(zhàn)應(yīng)對(duì):基于數(shù)據(jù)公證的合規(guī)認(rèn)證體系213
6.6.2安全性挑戰(zhàn)應(yīng)對(duì):三流分離的業(yè)務(wù)模式213
6.6.3價(jià)值不確定性挑戰(zhàn)應(yīng)對(duì):數(shù)據(jù)試驗(yàn)融合215
6.6.4安全監(jiān)管挑戰(zhàn)應(yīng)對(duì):子母訂單審核機(jī)制216
6.6.5價(jià)值評(píng)估挑戰(zhàn)應(yīng)對(duì):多維度輔助定價(jià)216
6.6.6隱私保護(hù)挑戰(zhàn)應(yīng)對(duì):隱私計(jì)算與統(tǒng)一隱私計(jì)算217
6.6.7安全監(jiān)管挑戰(zhàn)應(yīng)對(duì):全流程鏈上存證監(jiān)管218
本章小結(jié)219
習(xí)題6219
參考文獻(xiàn)219
第7章醫(yī)療數(shù)據(jù)共享221
7.1醫(yī)療數(shù)據(jù)的特點(diǎn)與相關(guān)概念221
7.1.1醫(yī)療數(shù)據(jù)221
7.1.2通用數(shù)據(jù)模型223
7.1.3標(biāo)準(zhǔn)化術(shù)語(yǔ)集225
7.1.4隊(duì)列227
7.1.5從數(shù)據(jù)到證據(jù)230
7.1.6證據(jù)與數(shù)據(jù)質(zhì)量231
7.2醫(yī)療數(shù)據(jù)共享的現(xiàn)狀及挑戰(zhàn)232
7.2.1醫(yī)院內(nèi)部數(shù)據(jù)共享現(xiàn)狀232
7.2.2多中心數(shù)據(jù)協(xié)同現(xiàn)狀234
7.2.3醫(yī)療數(shù)據(jù)共享協(xié)作挑戰(zhàn)234
7.3醫(yī)療數(shù)據(jù)共享平臺(tái)的架構(gòu)設(shè)計(jì)235
7.3.1業(yè)務(wù)架構(gòu)235
7.3.2業(yè)務(wù)流程分析235
7.3.3數(shù)據(jù)流設(shè)計(jì)236
7.3.4智能化設(shè)計(jì)236
7.4醫(yī)療數(shù)據(jù)共享平臺(tái)的技術(shù)支撐239
7.4.1動(dòng)態(tài)數(shù)據(jù)架構(gòu)應(yīng)用239
7.4.2隱私安全計(jì)算應(yīng)用240
7.4.3區(qū)塊鏈技術(shù)應(yīng)用241
7.4.4多中心靈活部署241
7.4.5全流程數(shù)據(jù)管理技術(shù)242
7.4.6激勵(lì)機(jī)制應(yīng)用243
本章小結(jié)243
習(xí)題7244
參考文獻(xiàn)244
第8章知識(shí)與數(shù)據(jù)共建共享245
8.1科研范式變革245
8.2知識(shí)圖譜聯(lián)邦構(gòu)建算法248
8.2.1知識(shí)圖譜248
8.2.2聯(lián)邦學(xué)習(xí)補(bǔ)充介紹249
8.2.3聯(lián)邦聯(lián)合抽取模型251
8.3知識(shí)共建共享平臺(tái)258
8.3.1知識(shí)共建共享平臺(tái)總體設(shè)計(jì)258
8.3.2知識(shí)圖譜共建共享機(jī)制263
8.3.3區(qū)塊鏈及隱私計(jì)算技術(shù)應(yīng)用265
8.4數(shù)據(jù)共建共享系統(tǒng)265
本章小結(jié)267
習(xí)題8267
參考文獻(xiàn)268
第9章其他行業(yè)應(yīng)用案例269
9.1供應(yīng)鏈應(yīng)用269
9.1.1場(chǎng)景和需求269
9.1.2區(qū)塊鏈多方協(xié)調(diào)270
9.2版權(quán)溯源與原創(chuàng)性保護(hù)應(yīng)用272
9.2.1場(chǎng)景和需求272
9.2.2區(qū)塊鏈迅捷存證273
9.3房屋租賃應(yīng)用277
9.4云存儲(chǔ)應(yīng)用279
9.5區(qū)塊鏈分布式共享應(yīng)用279
本章小結(jié)280
習(xí)題9280
參考文獻(xiàn)280
第10章展望282