本書從云平臺和大數(shù)據(jù)的概念出發(fā),以當(dāng)前國內(nèi)外云平臺和大數(shù)據(jù)的發(fā)展現(xiàn)狀為背景,詳細(xì)介紹了云計算技術(shù)、云計算平臺、大數(shù)據(jù)技術(shù)、Hadoop開發(fā)平臺、MapReduce應(yīng)用、Pig簡介、HBase簡介、云計算與大數(shù)據(jù)安全等知識。
本書重點突出,偏重在宏觀上講解云平臺和大數(shù)據(jù)的概念、用途、設(shè)計思想、應(yīng)用原理等,為云平臺和大數(shù)據(jù)專業(yè)的讀者提供了理論基礎(chǔ)。
本書適用面廣,可作為本科大數(shù)據(jù)、計算機(jī)科學(xué)與技術(shù)、軟件工程、計算機(jī)軟件、計算機(jī)信息管理、統(tǒng)計學(xué)、數(shù)學(xué)等專業(yè)的教材,也可作為云計算和大數(shù)據(jù)從業(yè)者及愛好者的參考用書。
隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算等技術(shù)的快速發(fā)展,以及智能終端、網(wǎng)絡(luò)社會、數(shù)字地球的普及和建設(shè),全球數(shù)據(jù)量出現(xiàn)爆炸式增長,據(jù)IDC預(yù)計,到2020年全球數(shù)據(jù)量將增加50倍。毋庸置疑,云計算和大數(shù)據(jù)時代已經(jīng)到來。
云計算和大數(shù)據(jù)的發(fā)展是相輔相成的。一方面,云計算為大數(shù)據(jù)提供存儲和運算平臺,并運用人工智能技術(shù)從海量的、多樣化的數(shù)據(jù)中發(fā)現(xiàn)知識、規(guī)律和趨勢,為決策提供信息參考;另一方面,大數(shù)據(jù)利用云計算的強(qiáng)大計算能力,可以提高數(shù)據(jù)分析的效率,從而更迅速地從海量數(shù)據(jù)中挖掘出有價值的信息,其不斷增加的業(yè)務(wù)需求也拓展了云計算的應(yīng)用領(lǐng)域。然而,云計算和大數(shù)據(jù)的發(fā)展也進(jìn)一步增加了信息的開放程度,隱私數(shù)據(jù)及敏感信息的泄露事件亦隨之時有發(fā)生。面對云計算與大數(shù)據(jù)產(chǎn)業(yè)的新特點和新挑戰(zhàn),如何保障數(shù)據(jù)安全也逐漸成為業(yè)界內(nèi)外十分關(guān)注的重點課題。
目前,云計算已成為IT建設(shè)不可缺少的基礎(chǔ)技術(shù)。國際領(lǐng)先的信息技術(shù)企業(yè)(如Google、Amazon、微軟、IBM等)都構(gòu)建了自己的云平臺生態(tài)系統(tǒng)。中國的云計算市場經(jīng)過技術(shù)和商業(yè)模式的積累,也已進(jìn)入穩(wěn)定發(fā)展階段,云計算產(chǎn)業(yè)鏈、行業(yè)生態(tài)環(huán)境基本穩(wěn)定,其中,阿里巴巴、百度、騰訊借助自身互聯(lián)網(wǎng)業(yè)務(wù)的優(yōu)勢,逐步奠定了國內(nèi)云計算市場的霸權(quán)地位;用友、金蝶等企業(yè)的軟件云服務(wù)也逐漸成型;在國家政策的引導(dǎo)下,政府和企事業(yè)單位的公共云服務(wù)布局也在加快建設(shè)當(dāng)中。
伴隨著云計算技術(shù)的成熟,大數(shù)據(jù)也得到了日益廣泛的應(yīng)用。國際上,IBM、微軟、Google、甲骨文、Amazon等主要大數(shù)據(jù)服務(wù)提供商的大數(shù)據(jù)業(yè)務(wù)均呈穩(wěn)步增長態(tài)勢;在國內(nèi),阿里巴巴、騰訊、百度等企業(yè)的大數(shù)據(jù)業(yè)務(wù)也已經(jīng)全面展開,為政府決策、日常出行、就餐購物、休閑娛樂等提供了諸多便利。
作為引領(lǐng)實體經(jīng)濟(jì)轉(zhuǎn)型升級的重要突破口,云計算和大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展已受到國家決策層的高度關(guān)注,國務(wù)院先后出臺多個文件,支持和規(guī)范相關(guān)行業(yè)發(fā)展。2014年3月,大數(shù)據(jù)首先進(jìn)入《政府工作報告》;2015年1月,國務(wù)院印發(fā)了《關(guān)于促進(jìn)云計算創(chuàng)新發(fā)展培育信息產(chǎn)業(yè)新業(yè)態(tài)的意見》,以促進(jìn)云計算創(chuàng)新發(fā)展,積極培育信息產(chǎn)業(yè)新業(yè)態(tài);2015年6月,國務(wù)院常務(wù)會議決定將在重點領(lǐng)域引入大數(shù)據(jù)監(jiān)管系統(tǒng);2015年7月,國務(wù)院辦公廳印發(fā)《關(guān)于運用大數(shù)據(jù)加強(qiáng)對市場主體服務(wù)和監(jiān)管的若干意見》,進(jìn)一步拓展大數(shù)據(jù)的應(yīng)用領(lǐng)域;截至2017年3月,大數(shù)據(jù)已第四次進(jìn)入《政府工作報告》,云計算和大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展已然被提升到國家戰(zhàn)略的高度,是具有廣闊發(fā)展前景和旺盛人才需求的朝陽產(chǎn)業(yè)。
本書是面向高等院校云計算和大數(shù)據(jù)專業(yè)方向的標(biāo)準(zhǔn)化教材,兼顧完善的理論性和較強(qiáng)的實用性。前三章主要介紹了云計算技術(shù),包括云計算的概念、云計算的核心技術(shù)、當(dāng)前主流的云計算平臺等內(nèi)容;第4章至第8章主要介紹了大數(shù)據(jù)技術(shù),包括大數(shù)據(jù)的概念、大數(shù)據(jù)的關(guān)鍵技術(shù)、當(dāng)前的主流大數(shù)據(jù)服務(wù)和開源開發(fā)平臺等內(nèi)容;最后一章重點介紹了云計算與大數(shù)據(jù)當(dāng)前面臨的主要安全問題及解決方案。希望讀者能夠通過對本書的學(xué)習(xí),了解云計算和大數(shù)據(jù)的發(fā)展概況,掌握云計算技術(shù)及其體系架構(gòu),了解Hadoop等主流云計算平臺,掌握大數(shù)據(jù)開發(fā)技術(shù)以及MapReduce、Pig和HBase等大數(shù)據(jù)分析工具的使用,并對云計算與大數(shù)據(jù)安全的標(biāo)準(zhǔn)和規(guī)范有一個基本的了解。
本書由青島英谷教育科技股份有限公司編寫,參與本書編寫的人員有張偉洋、張杰、王萬琦、馬秀娟、侯方超、孟潔等。本書在編寫期間得到了各合作院校的專家及一線教師的大力支持和協(xié)作,在此要特別感謝給予我們開發(fā)團(tuán)隊大力支持和幫助的領(lǐng)導(dǎo)及同事,感謝合作院校的師生給予我們的支持和鼓勵,更要感謝開發(fā)團(tuán)隊每一位成員所付出的艱辛
勞動。
書中難免有錯誤或不當(dāng)之處,讀者在閱讀過程中如有發(fā)現(xiàn),可以通過郵箱(yinggu@121ugrow.com)與我們聯(lián)系,以期進(jìn)一步完善。