數(shù)字原生
2010年11月，在Greenplum創(chuàng)始人的支持下，我們在北京建立了Greenplum中國研發(fā)體系。2013年4月，隨著Pivotal公司的建立，我們在Greenplum中國研發(fā)的基礎(chǔ)上合并了部分VMWare中國研發(fā)集團的P層云資產(chǎn)，建立了Pivotal中國辦公室。截至本書完稿的時候，我們的中國核心研發(fā)團隊和全球研發(fā)團隊一起奮斗了8年，打造的Cloud Foundry產(chǎn)品和Greenplum產(chǎn)品成為Pivotal公司在紐約證券交易所上市榮登PaaS第一股的基礎(chǔ)。作為Pivotal中國辦公室的創(chuàng)始團隊，我們一直在審視和提升Pivotal中國辦公室的使命和愿景。高尚的使命和愿景是促使一個機構(gòu)達到世界一流水平的必要條件，因為使命和愿景比戰(zhàn)略更高一層。一個機構(gòu)在前進的過程中，其戰(zhàn)略不可避免地需要調(diào)整。在面對戰(zhàn)略調(diào)整時，如果組織成員缺乏共同的使命和愿景，就很難在變化中存活下來。以PC行業(yè)為例，蘋果公司由最初的蘋果電腦公司（Apple Computers）發(fā)展到今天蘋果（Apple）公司，業(yè)務(wù)也從以PC為重心遷移到以移動和云服務(wù)為重心。蘋果公司的轉(zhuǎn)型一路顛簸但最終成功，這與它們堅持藝術(shù)和科技的融合并提供一流的用戶體驗的使命是分不開的。對于不少沒有完成轉(zhuǎn)型的PC企業(yè)，仔細觀察一下，會發(fā)現(xiàn)它們通常不能清楚地表達自己的使命。
那么Pivotal中國辦公室的使命是什么？簡單地說，是支持全球Pivotal產(chǎn)品和商業(yè)戰(zhàn)略的成功。但是，這個回答顯然不能說服和召集一批學(xué)霸把Pivotal中國辦公室變成世界一流的創(chuàng)新機構(gòu)。作者有幸參與Pivotal公司在EMC和VMWare內(nèi)部的啟動倡議（Pivotal Initiative），聆聽到董事長Paul Maritz先生對Pivotal宣言（Manifesto）的解讀。中國讀者可能還不熟悉Maritz先生，根據(jù)維基百科的介紹，他是微軟Windows平臺的主要執(zhí)行團隊成員，負責(zé)過Windows 95和Windows NT等關(guān)鍵產(chǎn)品。在創(chuàng)建Pivotal之前，Maritz先生是VMWare公司的CEO，奠定了VMWare在虛擬化和I層云的行業(yè)領(lǐng)導(dǎo)地位。鑒于Maritz先生在業(yè)內(nèi)的聲望，作者仔仔細細閱讀了他撰寫的三頁紙篇幅的Pivotal宣言，并且思考了Pivotal中國辦公室如何既能擁抱Pivotal宣言又能在自己專注的領(lǐng)域成為國內(nèi)意見領(lǐng)袖。今天，Pivotal的使命用一句話描述就是The Way The Future Gets Built，用中文直接翻譯過來就是構(gòu)建未來的方式。這句話顯得有些抽象，所以在Pivotal中國辦公室的日常事務(wù)中，我們會針對不同的團隊來細化這句話：對于面向數(shù)字化轉(zhuǎn)型客戶的Pivotal Lab團隊，這句話被表述為交付一流的數(shù)字化轉(zhuǎn)型體驗；對于云研發(fā)團隊，這句話被表達為通過Cloud Foundry云平臺成為云原生平臺的行業(yè)標(biāo)桿；對于數(shù)據(jù)庫研發(fā)團隊，這句話被闡述為通過Greenplum成為大數(shù)據(jù)平臺和機器學(xué)習(xí)的意見領(lǐng)袖。這些使命背后的共同愿景就是提供數(shù)字原生世界的新產(chǎn)能，以及企業(yè)建立數(shù)字化所需要的軟件平臺和方法論。
數(shù)字原生就是從由物理世界為重心向數(shù)字世界為中心遷移時思考問題的方式。數(shù)字計算機發(fā)明之前，我們幾乎沒有什么數(shù)字資產(chǎn)和技術(shù)。數(shù)字計算機發(fā)明至今，我們對于數(shù)字資產(chǎn)的積累呈指數(shù)級增長，在我國更是呈現(xiàn)出跨越式發(fā)展的態(tài)勢。舉個例子，今天，如果我們出門不帶手機，就會感覺寸步難行，本質(zhì)上是因為手機已經(jīng)成為我們進入數(shù)字世界的入口。通過手機，我們可以向數(shù)字世界發(fā)出各種請求，調(diào)度物理世界的資源為我們所用。Pivotal公司喜歡以ask 綜合部門@pivotal.io的郵件方式來獲得綜合部門的支持。早期行政部門的同事剛加入Pivotal公司的時候常問我：為什么不面對面請求，或者打個電話，又或者開個單子？我的回答是這幾種方式看似差別不大，但反映了思考問題方式的差別。Pivotal公司作為數(shù)字化的領(lǐng)導(dǎo)者，把軟件和數(shù)據(jù)平臺看作數(shù)字世界的入口。我們獲取資源的方式是向這個數(shù)字世界發(fā)出請求。數(shù)字世界可能通過它的計算找到最優(yōu)執(zhí)行路徑。有些工作的執(zhí)行可能還需要轉(zhuǎn)發(fā)給人進行人工處理，例如安裝一臺打印機。但是，有些請求則可以直接通過軟件方式解決，例如申請一臺云服務(wù)器。對于某些請求，雖然我們今天還無法完全以全數(shù)字化、無人干預(yù)的方式完成，但是，我們可以先把數(shù)字原生的框架奠定起來，為以后的進一步對接和持續(xù)改進做好準備。在作者看來，數(shù)字原生的持續(xù)改進過程分為三個階段：
1）軟件公司：通過數(shù)字應(yīng)用實現(xiàn)數(shù)字世界和物理世界的無縫交互。
2）數(shù)據(jù)公司：通過大數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)積累和數(shù)學(xué)模型運行支撐。
3）數(shù)學(xué)公司：通過數(shù)學(xué)模型的持續(xù)改進來最優(yōu)化數(shù)字世界和物理世界資源。
因此，作者和團隊希望能夠以三部對應(yīng)的著作（下面簡稱為數(shù)字化三部曲）在數(shù)字原生的征程上為讀者提供戰(zhàn)略參考和對應(yīng)的軟件平臺及工具指導(dǎo)。
第一部曲：《Cloud Foundry：從數(shù)字化戰(zhàn)略到實現(xiàn)》這本書的主要目標(biāo)是闡述企業(yè)如何實現(xiàn)數(shù)字原生第一階段：實現(xiàn)數(shù)字化應(yīng)用。該書討論了云計算作為第三代技術(shù)平臺帶來的商業(yè)模式變更。在云計算的技術(shù)棧中，P層云帶動了企業(yè)數(shù)字化浪潮。傳統(tǒng)企業(yè)通過P層云可以迅速獲得頂級互聯(lián)網(wǎng)公司的軟件迭代和發(fā)布速度，把與客戶的交互通過消費級的應(yīng)用數(shù)字化。書中例舉福特公司通過FordPass建立了以汽車實體產(chǎn)品為核心的一系列用戶數(shù)字化體驗：汽車金融、遠程監(jiān)控車輛、停車位預(yù)留、旅途產(chǎn)品和服務(wù)推薦等。這個階段也是一個持續(xù)改進的過程。以共享出行為例，今天用戶通過手機平臺進入數(shù)字世界，在打車應(yīng)用中發(fā)送訂單。打車平臺通過選擇最優(yōu)執(zhí)行路徑，把訂單發(fā)送給打車平臺的司機。然后，司機在物理世界中驅(qū)車到達用戶起點。隨著有輔助的無人駕駛技術(shù)的成熟，這個數(shù)字世界的運行鏈條會繼續(xù)延長，數(shù)字平臺可以直接把無人車派送到用戶起點。在其他的行業(yè)，數(shù)字應(yīng)用的鏈條同樣也在持續(xù)延長。
第二部曲：《Greenplum：從大數(shù)據(jù)戰(zhàn)略到實現(xiàn)》（也就是本書）我們的主要目的是闡述企業(yè)如何實現(xiàn)數(shù)字原生的第二階段：大數(shù)據(jù)平臺。隨著數(shù)字應(yīng)用的鏈條不斷延長，企業(yè)需要一個大數(shù)據(jù)平臺來積累應(yīng)用生成的數(shù)據(jù)。這個工作聽上去很容易，因為人們很早以前就使用磁帶來存儲數(shù)據(jù)，之后，存儲媒介發(fā)生了巨大的變化，能夠便捷地存儲大量數(shù)據(jù)。那么為何還需要Greenplum這樣一個大數(shù)據(jù)和機器學(xué)習(xí)平臺？原因有兩個：1）量大；2）快速計算。說到大，當(dāng)數(shù)據(jù)量達到PB級別（相當(dāng)于16000個64GB的iPhone中存儲的數(shù)據(jù)）時，企業(yè)利用廉價但是可靠的存儲來備份和管理是非常困難的。說到快，想象讓用戶從16000個iPhone的數(shù)據(jù)中尋找一張5年前的照片就可以感受到大海撈針般的困難；更何況企業(yè)的數(shù)據(jù)平臺要支撐的機器學(xué)習(xí)和人工智能的數(shù)學(xué)模型的復(fù)雜度要比尋找一張照片的復(fù)雜度高幾十到幾萬倍。可見，要想用極快的速度處理如此海量的數(shù)據(jù)是極其困難的。這也是企業(yè)在構(gòu)建大數(shù)據(jù)平臺時步履維艱的原因。Greenplum團隊的優(yōu)秀專家用企業(yè)積累了15年的知識和創(chuàng)新來解決這些難題：如何利用低價的存儲設(shè)備來實現(xiàn)高可靠的數(shù)據(jù)存儲？數(shù)據(jù)的存儲如何為今天模型的計算做準備？如何給模型提供簡單但又標(biāo)準的接口？數(shù)據(jù)管理如何在便于存儲和便于日后查找之間取得平衡？如何利用現(xiàn)在的I層云計算資源？如何訪問文本和地理位置信息等各種數(shù)據(jù)源？如何訪問和計算存儲在其他系統(tǒng)（例如Hadoop）的數(shù)據(jù)？如何支撐今天主流的人工智能和機器學(xué)習(xí)模型？我們在創(chuàng)新過程中觸碰到了很多計算機科學(xué)本身的極限。希望這本著作能給讀者呈現(xiàn)一個解決了上述問題并可以實操的大數(shù)據(jù)平臺和戰(zhàn)略。
我們還在醞釀的第三部著作希望能幫助讀者更好地實現(xiàn)數(shù)字原生的第三階段：機器學(xué)習(xí)和人工智能。企業(yè)通過第一階段和第二階段的努力捕獲和存儲了大量的數(shù)據(jù)。為了更好地理解用戶的需求，不少企業(yè)進入了更高階的數(shù)字化戰(zhàn)略：大數(shù)據(jù)驅(qū)動的機器學(xué)習(xí)和人工智能。在這個階段的競爭中，企業(yè)會增設(shè)一個新的崗位：數(shù)據(jù)科學(xué)家。數(shù)據(jù)科學(xué)家會在大數(shù)據(jù)平臺上創(chuàng)造和優(yōu)化數(shù)學(xué)模型，以期待改進數(shù)字世界和物理世界的運作來更好地為人服務(wù)。前兩部曲提供了軟件工具和方法論以幫助企業(yè)成為基于大數(shù)據(jù)的人工智能和機器學(xué)習(xí)戰(zhàn)略的數(shù)學(xué)公司，不少企業(yè)在實踐過程中希望作者能夠分享實踐案例并就企業(yè)領(lǐng)導(dǎo)力轉(zhuǎn)變提供咨詢�？紤]到這樣一本著作的出版需要兩年以上的時間，碰巧出版社和作者看到了頂級大數(shù)據(jù)咨詢公司Booz Allen Hamilton的兩位高管收集了大量實際案例的著作《The Mathematical Corporation: Where Machine Intelligence and Human Ingenuity Achieve the Impossible》，其中關(guān)于數(shù)學(xué)公司的提法和作者的觀點不謀而合。通過出版社的努力，作者和團隊把這部著作翻譯成中文著作，可以作為第二部曲的伴侶著作來閱讀。
雖然數(shù)字原生第三階段的探討還在創(chuàng)新者和早期用戶者群體中進行，但是第二階段大數(shù)據(jù)平臺的建設(shè)已經(jīng)在中國如火如荼地展開。大數(shù)據(jù)平臺在數(shù)字原生三部曲中扮演了承上啟下的關(guān)鍵角色，中大型的公司已經(jīng)將大數(shù)據(jù)納入信息平臺的建設(shè)方案中。Greenplum因為開源生態(tài)和杰出的創(chuàng)新能力被列為方案的候選技術(shù)選項，這也使Pivotal中國辦公室的同事們倍感欣慰。伴隨Greenplum生態(tài)的持續(xù)發(fā)展壯大，希望這部著作能給企業(yè)高層制定戰(zhàn)略提供建議和參考，既幫助工程團隊開發(fā)應(yīng)用，又能指導(dǎo)運營團隊運維和保障。
本書內(nèi)容組織方式
Greenplum經(jīng)過15年的精心打磨，成為出色的開源MPP數(shù)據(jù)庫和數(shù)據(jù)處理基礎(chǔ)平臺，已應(yīng)用于銀行、保險、證券、電信、物流、安保、零售、能源和廣告等行業(yè)。我們希望本書能給已經(jīng)建立或者準備建立大數(shù)據(jù)平臺的企業(yè)決策者、架構(gòu)師、開發(fā)人員、數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家和數(shù)據(jù)庫管理員帶來幫助，也希望從事大數(shù)據(jù)科研工作的教育工作者和學(xué)生能從中受益。
本書分為四個部分。
第一部分介紹大數(shù)據(jù)戰(zhàn)略。其中，第1章將分享作者對于ABC（人工智能、大數(shù)據(jù)和云計算）之間關(guān)系的理解以及對人和人工智能的思考。第2章將介紹進取型企業(yè)為什么需要大數(shù)據(jù)戰(zhàn)略以及如何建立大數(shù)據(jù)戰(zhàn)略。
第二部分介紹大數(shù)據(jù)平臺。其中，第3章將以數(shù)據(jù)平臺演進歷史和未來趨勢為主題，描述三次整合的背景及影響，介紹選擇大數(shù)據(jù)平臺需要考慮的因素，以及為什么Greenplum是理想的大數(shù)據(jù)平臺。第4章為Greenplum數(shù)據(jù)庫快速入門指南。第5章將介紹Greenplum架構(gòu)的主要特點和核心引擎。第6章將介紹數(shù)據(jù)加載、數(shù)據(jù)聯(lián)邦和數(shù)據(jù)虛擬化。第7章將介紹Greenplum的資源管理以及對混合負載的支持。
第三部分介紹機器學(xué)習(xí)與數(shù)據(jù)分析。其中，第8章介紹Greenplum的各種過程化編程語言（用戶自定義函數(shù)），用戶可以使用Python、R、Java等語言實現(xiàn)用戶自定義函數(shù)，還可以通過容器化技術(shù)實現(xiàn)自定義函數(shù)的安全性和隔離性。第9章將介紹Greenplum內(nèi)建的機器學(xué)習(xí)庫MADlib，數(shù)據(jù)科學(xué)家可以使用內(nèi)建的50多種機器學(xué)習(xí)算法基于SQL對數(shù)據(jù)進行高級分析，并介紹如何擴展MADlib以實現(xiàn)新算法。第10章和第11章將分別介紹Greenplum如何對文本數(shù)據(jù)和時空數(shù)據(jù)（GIS）進行存儲、計算和分析。第12章將介紹Greenplum豐富的圖計算能力。
第四部分介紹運維管理和數(shù)據(jù)遷移。其中，第13章將介紹各種監(jiān)控和管理工具及相關(guān)企業(yè)級產(chǎn)品。第14章介紹數(shù)據(jù)庫備份、恢復(fù)和遷移。第15章和第16章將分別介紹如何從Oracle和Teradata遷移到Greenplum。
限于作者學(xué)識，本書難免有疏漏之處，懇請同行和各位讀者批判指正，我們將不勝感激。您可以通過數(shù)字化三部曲的官網(wǎng)（DigitX.cn）或Greenplum中文官方社區(qū)（greenplum.cn）給我們留言并了解Greenplum的技術(shù)信息、獲得著作的相關(guān)學(xué)習(xí)資源。 馮　雷
Pivotal中國常務(wù)董事兼研發(fā)中心總經(jīng)理
姚延棟
Pivotal中國研發(fā)中心副總裁