《大數(shù)據(jù)時(shí)代》是國外大數(shù)據(jù)系統(tǒng)研究的先河之作,本書作者維克托?邁爾?舍恩伯格被譽(yù)為“大數(shù)據(jù)商業(yè)應(yīng)用第一人”,擁有在哈佛大學(xué)、牛津大學(xué)、耶魯大學(xué)和新加坡國立大學(xué)等多個互聯(lián)網(wǎng)研究重鎮(zhèn)任教的經(jīng)歷,早在2010年就在《經(jīng)濟(jì)學(xué)人》上發(fā)布了長達(dá)14頁對大數(shù)據(jù)應(yīng)用的前瞻性研究。
維克托爾耶舍恩伯格在本書中前瞻性地指出,大數(shù)據(jù)帶來的信息風(fēng)暴正在變革我們的生活、工作和思維,大數(shù)據(jù)開啟了一次重大的時(shí)代轉(zhuǎn)型,并用三個部分講述了大數(shù)據(jù)時(shí)代的思維變革、商業(yè)變革和管理變革。
維克托最具洞見之處在于,他明確指出,大數(shù)據(jù)時(shí)代最大的轉(zhuǎn)變就是,放棄對因果關(guān)系的渴求,而取而代之關(guān)注相關(guān)關(guān)系。也就是說只要知道“是什么”,而不需要知道“為什么”。這顛覆了千百年來人類的思維慣例,對人類的認(rèn)知和與世界交流的方式提出了全新的挑戰(zhàn)。
本書認(rèn)為大數(shù)據(jù)的核心就是預(yù)測。大數(shù)據(jù)將為人類的生活創(chuàng)造前所未有的可量化的維度。大數(shù)據(jù)已經(jīng)成為了新發(fā)明和新服務(wù)的源泉,而更多的改變正蓄勢待發(fā)。書中展示了谷歌、微軟、亞馬遜、IBM、蘋果、facebook、twitter、VISA等大數(shù)據(jù)先鋒們最具價(jià)值的應(yīng)用案例。
迄今為止全世界最好的一本大數(shù)據(jù)專著。
《大數(shù)據(jù)時(shí)代》作者維克托邁爾-舍恩伯格,大數(shù)據(jù)時(shí)代的預(yù)言家,《科學(xué)》《自然》等著名學(xué)術(shù)期刊最推崇的互聯(lián)網(wǎng)研究者之一,“大數(shù)據(jù)商業(yè)應(yīng)用第一人”,擁有在哈佛大學(xué)、牛津大學(xué)、耶魯大學(xué)和新加坡國立大學(xué)等多個互聯(lián)網(wǎng)研究重鎮(zhèn)任教的經(jīng)歷。
《大數(shù)據(jù)時(shí)代》的譯者系我國最年輕有為的大數(shù)據(jù)專家,電子科技大學(xué)互聯(lián)網(wǎng)科學(xué)中心主任、教授、博士生導(dǎo)師周濤教授。這位27 歲的天才型教授,數(shù)年來一直帶領(lǐng)我國學(xué)術(shù)界在大數(shù)據(jù)研究上向國際一流看齊。
寬帶資本董事長田溯寧,微軟全球資深副總裁、微軟亞太研發(fā)集團(tuán)主席張亞勤,中國互聯(lián)網(wǎng)發(fā)展重要參與者、知名IT評論人謝文,北京云基地首席顧問、云華時(shí)代智能科技有限公司董事長郭昕,上海交通大學(xué)長江學(xué)者特聘教授、致遠(yuǎn)學(xué)院常務(wù)副院長汪小帆,中國傳媒大學(xué)教授沈浩,清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系副主任、教授陳文光,中國社科院信息化研究中心秘書長、《互聯(lián)網(wǎng)周刊》主編姜奇平,《財(cái)經(jīng)》雜志執(zhí)行主編、《哈佛商業(yè)評論》中文版主編何剛、微軟亞洲研究院主管研究員謝幸等重磅推薦。
大數(shù)據(jù)是人們獲得新的認(rèn)知,創(chuàng)造新的價(jià)值的源泉;大數(shù)據(jù)還是改變市場、組織機(jī)構(gòu),以及政府與公民關(guān)系的方法。作者認(rèn)為,大數(shù)據(jù)的核心就是預(yù)測。這個核心代表著我們分析信息時(shí)的三個轉(zhuǎn)變。第一個轉(zhuǎn)變就是,在大數(shù)據(jù)時(shí)代,我們可以分析更多的數(shù)據(jù),有時(shí)候甚至可以處理和某個特別現(xiàn)象相關(guān)的所有數(shù)據(jù),而不再依賴于隨機(jī)采樣。第二個改變就是,研究數(shù)據(jù)如此之多,以至于我們不再熱衷于追求精確度。第三個轉(zhuǎn)變因前兩個轉(zhuǎn)變而促成,即我們不再熱衷于尋找因果關(guān)系。
維克托邁爾-舍恩伯格(Viktor Mayer-Schnberger)
“大數(shù)據(jù)時(shí)代的預(yù)言家”,他是十余年潛心研究數(shù)據(jù)科學(xué)的技術(shù)權(quán)威,他是最早洞見大數(shù)據(jù)時(shí)代發(fā)展趨勢的數(shù)據(jù)科學(xué)家之一,也是最受人尊敬的權(quán)威發(fā)言人之一。他曾先后任教于世界最著名的幾大互聯(lián)網(wǎng)研究學(xué)府。現(xiàn)任牛津大學(xué)網(wǎng)絡(luò)學(xué)院互聯(lián)網(wǎng)治理與監(jiān)管專業(yè)教授,曾任哈佛大學(xué)肯尼迪學(xué)院信息監(jiān)管科研項(xiàng)目負(fù)責(zé)人,哈佛國家電子商務(wù)研究中網(wǎng)絡(luò)監(jiān)管項(xiàng)目負(fù)責(zé)人;曾任新加坡國立大學(xué)李光耀學(xué)院信息與創(chuàng)新策略研究中心主任。并擔(dān)任耶魯大學(xué)、芝加哥大學(xué)、弗吉尼亞大學(xué)、圣地亞哥大學(xué)、維也納大學(xué)的客座教授。
他的學(xué)術(shù)成果斐然,有一百多篇論文公開發(fā)表在《科學(xué)》《自然》等著名學(xué)術(shù)期刊上,他同時(shí)也是哈佛大學(xué)出版社、麻省理工出版社、通信政策期刊、美國社會學(xué)期刊等多家出版機(jī)構(gòu)的特約評論員。
他是備受眾多世界知名企業(yè)信賴的信息權(quán)威與顧問。他的咨詢客戶包括微軟、惠普和IBM等全球頂級企業(yè);而他自己早在1986年與1995年就擔(dān)任兩家軟件公司的總裁兼CEO,由他的公司開發(fā)的病毒通用程序,成為當(dāng)時(shí)奧地利最暢銷的軟件產(chǎn)品。1991年躋身奧地利軟件企業(yè)家前5名之列,2000年被評為奧地利薩爾斯堡州的年度人物。
他也是眾多機(jī)構(gòu)和國家政府高層的信息政策智囊。他一直專注于信息安全與信息政策與戰(zhàn)略的研究,是歐盟專家之一,也是世界經(jīng)濟(jì)論壇、馬歇爾計(jì)劃基金會等重要機(jī)構(gòu)的咨詢顧問,同時(shí)他以大數(shù)據(jù)的全球視野,熟悉亞洲信息產(chǎn)業(yè)的發(fā)展與戰(zhàn)略布局,先后擔(dān)任新加坡商務(wù)部高層、文萊國防部高層、科威特商務(wù)部高層、迪拜及中東政府高層的咨詢顧問。
肯尼斯庫克耶(Kenneth Cukier)
《經(jīng)濟(jì)學(xué)人》數(shù)據(jù)編輯,曾任職于《華爾街日報(bào)》(亞洲版)和《國際先驅(qū)論壇報(bào)》。他是美國外交關(guān)系協(xié)會成員,CNN、BBC和NPR的定期商業(yè)和技術(shù)評論員之一。
推薦序一 擁抱“大數(shù)據(jù)時(shí)代”
寬帶資本董事長 田溯寧
推薦序二 實(shí)實(shí)在在大數(shù)據(jù)
中國互聯(lián)網(wǎng)發(fā)展的重要參與者,知名IT 評論人
譯者序 在路上晃晃悠悠
電子科技大學(xué)教授,互聯(lián)網(wǎng)科學(xué)中心主任
引言 一場生活、工作與思維的大變革
大數(shù)據(jù)開啟了一次重大的時(shí)代轉(zhuǎn)型。就像望遠(yuǎn)鏡讓我們能夠感受宇宙,顯微鏡讓我們能夠觀測微生物一樣,大數(shù)據(jù)正在改變我們的生活以及理解世界的方式,成為新發(fā)明和新服務(wù)的源泉,而更多的改變正蓄勢待發(fā)……
大數(shù)據(jù),變革公共衛(wèi)生
大數(shù)據(jù),變革商業(yè)
大數(shù)據(jù),變革思維
大數(shù)據(jù),開啟重大的時(shí)代轉(zhuǎn)型
預(yù)測,大數(shù)據(jù)的核心
大數(shù)據(jù),大挑戰(zhàn)
第一部分 大數(shù)據(jù)時(shí)代的思維變革
第1章 更多:不是隨機(jī)樣本,而是全體數(shù)據(jù)
當(dāng)數(shù)據(jù)處理技術(shù)已經(jīng)發(fā)生了翻天覆地的變化時(shí),在大數(shù)據(jù)時(shí)代進(jìn)行抽樣分析就像在汽車時(shí)代騎馬一樣。一切都改變了,我們需要的是所有的數(shù)據(jù),“樣本=總體”。
讓數(shù)據(jù)“發(fā)聲”
小數(shù)據(jù)時(shí)代的隨機(jī)采樣,最少的數(shù)據(jù)獲得最多的信息
全數(shù)據(jù)模式,樣本=總體
第2章 更雜:不是精確性,而是混雜性
執(zhí)迷于精確性是信息缺乏時(shí)代和模擬時(shí)代的產(chǎn)物。只有5% 的數(shù)據(jù)是有框架且能適用于傳統(tǒng)數(shù)據(jù)庫的。如果不接受混亂,剩下95%的非框架數(shù)據(jù)都無法被利用,只有接受不精確性,我們才能打開一扇從未涉足的世界的窗戶。
允許不精確
大數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復(fù)雜算法更有效
紛繁的數(shù)據(jù)越多越好
混雜性,不是竭力避免,而是標(biāo)準(zhǔn)途徑
新的數(shù)據(jù)庫設(shè)計(jì)的誕生
第3章 更好:不是因果關(guān)系,而是相關(guān)關(guān)系
知道“是什么”就夠了,沒必要知道“為什么”。在大數(shù)據(jù)時(shí)代,我們不必非得知道現(xiàn)象背后的原因,而是要讓數(shù)據(jù)自己“發(fā)聲”。
關(guān)聯(lián)物,預(yù)測的關(guān)鍵
“是什么”,而不是“為什么”
改變,從操作方式開始
大數(shù)據(jù),改變?nèi)祟愄剿魇澜绲姆椒?/span>
第二部分 大數(shù)據(jù)時(shí)代的商業(yè)變革
第4章 數(shù)據(jù)化:一切皆可“量化”
大數(shù)據(jù)發(fā)展的核心動力來源于人類測量、記錄和分析世界的渴望。信息技術(shù)變革隨處可見,但是如今信息技術(shù)變革的重點(diǎn)在“T”(技術(shù))上,而不是在“I”(信息)上,F(xiàn)在,我們是時(shí)候把聚關(guān)燈打向“I”,開始關(guān)注信息本身了。
數(shù)據(jù),從最不可能的地方提取出來
數(shù)據(jù)化,不是數(shù)字化
量化一切,數(shù)據(jù)化的核心
當(dāng)文字變成數(shù)據(jù)
當(dāng)方位變成數(shù)據(jù)
當(dāng)溝通成為數(shù)據(jù)
一切事物的數(shù)據(jù)化
第5章 價(jià)值:“取之不盡,用之不竭”的數(shù)據(jù)創(chuàng)新
數(shù)據(jù)就像一個神奇的鉆石礦,當(dāng)它的首要價(jià)值被發(fā)掘后仍能不斷給予。它的真實(shí)價(jià)值就像漂浮在海洋中的冰山,第一眼只能看到冰山的一角,而絕大部分都隱藏在表面之下。
數(shù)據(jù)創(chuàng)新1:數(shù)據(jù)的再利用
數(shù)據(jù)創(chuàng)新2:重組數(shù)據(jù)
數(shù)據(jù)創(chuàng)新3:可擴(kuò)展數(shù)據(jù)
數(shù)據(jù)創(chuàng)新4:數(shù)據(jù)的折舊值
數(shù)據(jù)創(chuàng)新5:數(shù)據(jù)廢氣
數(shù)據(jù)創(chuàng)新6:開放數(shù)據(jù)
給數(shù)據(jù)估值
第6章 角色定位:數(shù)據(jù)、技術(shù)與思維的三足鼎立
微軟以1.1 億美元的價(jià)格購買了大數(shù)據(jù)公司Farecast,而兩年后谷歌則以7 億美元的價(jià)格購買了給Farecast 提供數(shù)據(jù)的ITASoftware公司。如今,我們正處在大數(shù)據(jù)時(shí)代的早期,思維和技術(shù)是最有價(jià)值的,但是最終大部分的價(jià)值還是必須從數(shù)據(jù)本身來挖掘。
大數(shù)據(jù)價(jià)值鏈的3大構(gòu)成
大數(shù)據(jù)掌控公司
大數(shù)據(jù)技術(shù)公司
大數(shù)據(jù)思維公司和個人
全新的數(shù)據(jù)中間商
專家的消亡與數(shù)據(jù)科學(xué)家的崛起
大數(shù)據(jù),決定企業(yè)的競爭力
第三部分 大數(shù)據(jù)時(shí)代的管理變革
第7章 風(fēng)險(xiǎn):讓數(shù)據(jù)主宰一切的隱憂
我們時(shí)刻都暴露在“第三只眼”之下:亞馬遜監(jiān)視著我們的購物習(xí)慣,谷歌著監(jiān)視我們的網(wǎng)頁瀏覽習(xí)慣,而微博似乎什么都知道,不僅竊聽到了我們心中的“TA”,還有我們的社交關(guān)系網(wǎng)。
無處不在的“第三只眼”
我們的隱私被二次利用了
預(yù)測與懲罰,不是因?yàn)樗觯且驗(yàn)椤皩⒆觥?/span>
數(shù)據(jù)獨(dú)裁
掙脫大數(shù)據(jù)的困境
第8章 掌控:責(zé)任與自由并舉的信息管理
當(dāng)世界開始邁向大數(shù)據(jù)時(shí)代時(shí),社會也將經(jīng)歷類似的地殼運(yùn)動。在改變?nèi)祟惢镜纳钆c思考方式的同時(shí),大數(shù)據(jù)早已在推動人類信息管理準(zhǔn)則的重新定位。然而,不同于印刷革命,我們沒有幾個世紀(jì)的時(shí)間去適應(yīng),我們也許只有幾年時(shí)間。
管理變革1:個人隱私保護(hù),從個人許可到讓數(shù)據(jù)使用者承擔(dān)責(zé)任
管理變革2:個人動因VS預(yù)測分析
管理變革3:擊碎黑盒子,大數(shù)據(jù)程序員的崛起
管理變革4:反數(shù)據(jù)壟斷大亨
結(jié)語 正在發(fā)生的未來
大數(shù)據(jù)并不是一個充斥著算法和機(jī)器的冰冷世界,人類的作用依然無法被完全替代。大數(shù)據(jù)為我們提供的不是最終答案,只是參考答案,幫助是暫時(shí)的,而更好的方法和答案還在不久的未來。
大數(shù)據(jù),變革商業(yè)
大數(shù)據(jù)不僅改變了公共衛(wèi)生領(lǐng)域,整個商業(yè)領(lǐng)域都因?yàn)榇髷?shù)據(jù)而重新洗牌。購買飛機(jī)票就是一個很好的例子。
2003 年,奧倫 埃齊奧尼(OrenEtzioni)準(zhǔn)備乘坐從西雅圖到洛杉磯的飛機(jī)去參加弟弟的婚禮。他知道飛機(jī)票越早預(yù)訂越便宜,于是他在這個大喜日子來臨之前的幾個月,就在網(wǎng)上預(yù)訂了一張去洛杉磯的機(jī)票。在飛機(jī)上,
埃齊奧尼好奇地問鄰座的乘客花了多少錢購買機(jī)票。當(dāng)?shù)弥m然那個人的機(jī)票比他買得更晚,但是票價(jià)卻比他便宜得多時(shí),他感到非常氣憤。于是,他又詢問了另外幾個乘客,結(jié)果發(fā)現(xiàn)大家買的票居然都比他的便宜。對大多數(shù)人來說,這種被敲竹杠的感覺也許會隨著他們走下飛機(jī)而消失。然而,埃齊奧尼是美國最有名的計(jì)算機(jī)專家之一,從他擔(dān)任華盛頓大學(xué)人工智能項(xiàng)目的負(fù)責(zé)人開始,他創(chuàng)立了許多在今天看來非常典型的大數(shù)據(jù)公司,而那時(shí)候還沒有人提出“大數(shù)據(jù)”這個概念。
1994 年,埃齊奧尼幫助創(chuàng)建了最早的互聯(lián)網(wǎng)搜索引擎MetaCrawler,該引擎后來被InfoSpace公司收購。他聯(lián)合創(chuàng)立了第一個大型比價(jià)網(wǎng)站Netbot,后來把它賣給了Excite公司。他創(chuàng)立的從文本中挖掘信息的公司ClearForest則被路透社收購了。在他眼中,世界就是一系列的大數(shù)據(jù)問題,而且他認(rèn)為他有能力解決這些問題。作為哈佛大學(xué)首屆計(jì)算機(jī)科學(xué)專業(yè)的本科畢業(yè)生,自1986年畢業(yè)以來,他也一直致力于解決這些問題。
飛機(jī)著陸之后,埃齊奧尼下定決心要幫助人們開發(fā)一個系統(tǒng),用來推測當(dāng)前網(wǎng)頁上的機(jī)票價(jià)格是否合理。作為一種商品,同一架飛機(jī)上每個座位的價(jià)格本來不應(yīng)該有差別。但實(shí)際上,價(jià)格卻千差萬別,其中緣由只有航空公司自己清楚。
埃齊奧尼表示,他不需要去解開機(jī)票價(jià)格差異的奧秘。他要做的僅僅是預(yù)測當(dāng)前的機(jī)票價(jià)格在未來一段時(shí)間內(nèi)會上漲還是下降。這個想法是可行的,但操作起來并不是那么簡單。這個系統(tǒng)需要分析所有特定航線機(jī)票的銷售價(jià)格并確定票價(jià)與提前購買天數(shù)的關(guān)系。
如果一張機(jī)票的平均價(jià)格呈下降趨勢,系統(tǒng)就會幫助用戶做出稍后再購票的明智選擇。反過來,如果一張機(jī)票的平均價(jià)格呈上漲趨勢,系統(tǒng)就會提醒用戶立刻購買該機(jī)票。換言之,這是埃齊奧尼針對9000米高空開發(fā)的一個加強(qiáng)版的信息預(yù)測系統(tǒng)。這確實(shí)是一個浩大的計(jì)算機(jī)科學(xué)項(xiàng)目。不過,這個項(xiàng)目是可行的。于是,埃齊奧尼開始著手啟動這個項(xiàng)目。埃齊奧尼創(chuàng)立了一個預(yù)測系統(tǒng),它幫助虛擬的乘客節(jié)省了很多錢。這個預(yù)測系統(tǒng)建立在41天內(nèi)價(jià)格波動產(chǎn)生的12 000個價(jià)格樣本基礎(chǔ)之上,而這些信息都是從一個旅游網(wǎng)站上搜集來的。這個預(yù)測系統(tǒng)并不能說明原因,只能推測會發(fā)生什么。也就是說,它不知道是哪些因素導(dǎo)致了機(jī)票價(jià)格的波動。機(jī)票降價(jià)是因?yàn)楹芏鄾]賣掉的座位、季節(jié)性原因,還是所謂的周六晚上不出門,它都不知道。這個系統(tǒng)只知道利用其他航班的數(shù)據(jù)來預(yù)測未來機(jī)票價(jià)格的走勢。“買還是不買,這是一個問題。”埃齊奧尼沉思著。他給這個研究項(xiàng)目取了一個非常貼切的名字,叫“哈姆雷特”。
這個小項(xiàng)目逐漸發(fā)展成為一家得到了風(fēng)險(xiǎn)投資基金支持的科技創(chuàng)業(yè)公司,名為Farecast。通過預(yù)測機(jī)票價(jià)格的走勢以及增降幅度,F(xiàn)arecast票價(jià)預(yù)測工具能幫助消費(fèi)者抓住最佳購買時(shí)機(jī),而在此之前還沒有其他網(wǎng)站能讓消費(fèi)者獲得這些信息。
這個系統(tǒng)為了保障自身的透明度,會把對機(jī)票價(jià)格走勢預(yù)測的可信度標(biāo)示出來,供消費(fèi)者參考。系統(tǒng)的運(yùn)轉(zhuǎn)需要海量數(shù)據(jù)的支持。為了提高預(yù)測的準(zhǔn)確性,埃齊奧尼找到了一個行業(yè)機(jī)票預(yù)訂數(shù)據(jù)庫。有了這個數(shù)據(jù)庫,系統(tǒng)進(jìn)行預(yù)測時(shí),預(yù)測的結(jié)果就可以基于美國商業(yè)航空產(chǎn)業(yè)中,每一條航線上每一架飛機(jī)內(nèi)的每一個座位一年內(nèi)的綜合票價(jià)記錄而得出。如今,F(xiàn)arecast已經(jīng)擁有驚人的約2 000 億條飛行數(shù)據(jù)記錄。利用這種方法,F(xiàn)arecast 為消費(fèi)者節(jié)省了一大筆錢。
棕色的頭發(fā),露齒的笑容,無邪的面孔,這就是奧倫埃齊奧尼。他看上去完全不像是一個會讓航空業(yè)損失數(shù)百萬潛在收入的人。但事實(shí)上,他的目光放得更長遠(yuǎn)。2008年,埃齊奧尼計(jì)劃將這項(xiàng)技術(shù)應(yīng)用到其他領(lǐng)域,比如賓館預(yù)訂、二手車購買等。只要這些領(lǐng)域內(nèi)的產(chǎn)品差異不大,同時(shí)存在大幅度的價(jià)格差和大量可運(yùn)用的數(shù)據(jù),就都可以應(yīng)用這項(xiàng)技術(shù)。但是在他實(shí)現(xiàn)計(jì)劃之前,微軟公司找上了他并以1.1億美元的價(jià)格收購了Farecast 公司。而后,這個系統(tǒng)被并入必應(yīng)搜索引擎。
到2012 年為止,F(xiàn)arecast 系統(tǒng)用了將近十萬
億條價(jià)格記錄來幫助預(yù)測美國國內(nèi)航班的票價(jià)。
大數(shù)據(jù)洞察
Farecast 票價(jià)預(yù)測的準(zhǔn)確度已經(jīng)高達(dá)75 %,
使用Farecast 票價(jià)預(yù)測工具購買機(jī)票的旅客,
平均每張機(jī)票可節(jié)省50 美元。
Farecast 是大數(shù)據(jù)公司的一個縮影,也代表了當(dāng)今世界發(fā)展的趨勢。五年或者十年之前,奧倫埃齊奧尼是無法成立這樣的公司的。他說:“這是不可能的!蹦菚r(shí)候他所需要的計(jì)算機(jī)處理能力和存儲能力太昂貴了!雖說技術(shù)上的突破是這一切得以發(fā)生的主要原因,但也有一些細(xì)微而重要的改變正在發(fā)生,特別是人們關(guān)于如何使用數(shù)據(jù)的理念。
……