前 言
用新技術、新思維，投身新基建

為什么寫這本書？
2020 年 3 月，國家提出要加快 5G 網(wǎng)絡和數(shù)據(jù)中心等新型基礎設施建設（簡稱新基建）的進度。
其中，信息化新型基礎設施包含云計算、大數(shù)據(jù)、人工智能、區(qū)塊鏈、5G 等內(nèi)容。
云計算、大數(shù)據(jù)、人工智能，這三者從表面上看似乎是三個獨立的技術方向，實則一脈相承。
筆者在南京大學參加人工智能峰會的時候，曾向?qū)＜艺埥塘艘粋�問題：云計算、大數(shù)據(jù)、人工智能之間有什么關系？專家解釋：從整體上看，云計算就是高速公路，大數(shù)據(jù)就是路上滿載貨物、飛速奔馳的車輛，人工智能則通過觀察道路利用情況、車輛運行情況，發(fā)現(xiàn)其中的規(guī)律，合理規(guī)劃道路、合理調(diào)度車輛，讓整個系統(tǒng)運行得更高效。
簡單來說，云計算技術提供了算力，大數(shù)據(jù)技術提供了數(shù)據(jù)支撐，人工智能技術提供了強大算法，這三者之間存在著不可分割的“親緣”關系。
從細節(jié)來看，每一個領域都有復雜的邏輯和豐富的內(nèi)涵。如果要將這三門技術融合在一起，需要有比較扎實的技術功底和充裕的時間。因此本書的目標是盡可能讓讀者用最低的成本，盡快掌握相關技術，緊跟時代步伐，早日投身新基建。
這本書的特點是什么？
本書力求簡單、實用，堅持以實例為主，理論為輔。
全書分為五篇，從大數(shù)據(jù)的基本概念與產(chǎn)業(yè)應用入手，然后介紹將大數(shù)據(jù)平臺容器化的工具Docker 與 Kubernetes，之后講解大數(shù)據(jù)常用的組件：Hadoop、HBase、Hive、Spark，最后引入了對數(shù)據(jù)進行挖掘的機器學習庫 scikit-learn 和 Spark MLlib。
隨著人工智能的快速發(fā)展，神經(jīng)網(wǎng)絡及相關的開發(fā)工具也愈發(fā)強大，因此在了解機器學習后，本書又引入了能解決更復雜問題，但操作又比較簡單的深度學習框架 TensorFlow。掌握TensorFlow，既彌補了 Spark、scikit-learn 的不足，又能應對更困難的場景。
本書沒有高深的理論，每一章都以實例為主，讀者通過參考源代碼，修改實例，就能得到自己想要的結(jié)果，讓讀者看得懂、學得會、做得出。
本書大多數(shù)章節(jié)都包含實訓模塊，讓讀者在學完該章節(jié)的知識后能夠舉一反三，學以致用。
通過這本書能學到什么？
1. 數(shù)據(jù)分析理論基礎：了解大數(shù)據(jù)的特征、大數(shù)據(jù)分析目標如何確立、大數(shù)據(jù)項目開發(fā)流程、機器學習開發(fā)過程。
2. 大數(shù)據(jù)平臺容器化：掌握 Docker、Kubernetes 的安裝方法；掌握基于 Docker 容器的集群部署方法；掌握 Kubernetes 的集群部署方法。
3. 數(shù)據(jù)分析：理解分布式存儲原理、分布式計算原理及分布式資源調(diào)度原理，掌握 Hadoop、HBase、Hive、Spark、scikit-learn、TensorFlow 數(shù)據(jù)分析技術。
4. 掌握架構(gòu)設計與實施技能：能設計不同場景下的項目架構(gòu)，并做好不同業(yè)務下的數(shù)據(jù)建模。
5. 項目開發(fā)：熟練使用 Python 語言，綜合運用各類組件，獨立完成項目開發(fā)。掌握基本的機器學習、人工智能開發(fā)技術。
2
本書的核心組件版本和閱讀時的注意事項
1. 核心組件版本
Python：Anaconda 3 Python 3.7 版本
CentOS：7.5
Hadoop：3.1.3
HBase：2.2.2
Hive：3.1.1
Spark：2.4.4
scikit-learn：0.22
TensorFlow：2.1.0
其中，Hadoop、HBase、Hive、Spark 安裝過程相對復雜，版本不匹配容易出錯，建議讀者使用與本書一致的版本，待精通大數(shù)據(jù)平臺知識之后，再選擇其他版本。另外 TensorFlow 1.x 與TensorFlow 2.x 版本存在巨大差異，使用 TensorFlow 2.x 將會成為流行趨勢，建議讀者使用 2.x 版本。
2. 注意事項
在實訓板塊，建議讀者根據(jù)主題回顧小節(jié)內(nèi)容，思考后再設計自己的實現(xiàn)方案，并與書中的實現(xiàn)方式進行對比，以便取得更好的學習效果。
除了書，您還能得到什么？
1. 贈送案例源代碼。提供書中相關案例的源代碼，方便讀者學習參考。
2. 贈送 50 道 Python 面試題及答案，幫助讀者提高面試成功率。
3. 贈送職場高效學習資源大禮包，包括《微信高手技巧隨身查》《QQ 高手技巧隨身查》《手機辦公 10 招就夠》等電子書，以及“5 分鐘學會番茄工作法”“10 招精通超級時間整理術”視頻教程，讓您輕松應對職場那些事兒。
感謝胡子平老師及北京大學出版社的各位編輯在本書的內(nèi)容策劃、設計和審核上給我的幫助。在本書的編寫過程中，我竭盡所能地為讀者呈現(xiàn)最好、最全面、最實用的內(nèi)容，但仍難免有疏漏之處，敬請廣大讀者不吝指正。