為什么要寫這本書
隨著商業(yè)競爭形勢的日益嚴峻，企業(yè)需要不斷尋找提高利潤率、降低成本、提高產(chǎn)出價值的有效方法，而數(shù)據(jù)化運營恰好是滿足企業(yè)這一需求的關(guān)鍵武器。數(shù)據(jù)化運營包含了運營和數(shù)據(jù)兩種要素，前者需要較多的業(yè)務(wù)經(jīng)驗，而后者對數(shù)據(jù)分析提出了更高的要求。只有把二者結(jié)合起來，在技能、經(jīng)驗和技術(shù)的支持下，數(shù)據(jù)化運營才能在企業(yè)內(nèi)部真正落地、生根、發(fā)芽。
對數(shù)據(jù)化運營而言，各企業(yè)普遍關(guān)注的結(jié)構(gòu)化數(shù)據(jù)分析、挖掘的場景非常豐富，例如銷售預(yù)測、會員生命周期維護、商品結(jié)構(gòu)分析等，這些普遍的共同認知為本書提供了接地氣的基礎(chǔ)。但除了這些傳統(tǒng)內(nèi)容外，還有很多非結(jié)構(gòu)化的數(shù)據(jù)主題，它們在數(shù)據(jù)化運營過程中的作用越來越重要，例如主題挖掘、圖片分析、文本挖掘、圖像識別、語音識別等，這些內(nèi)容拓展了數(shù)據(jù)化運營發(fā)揮價值的場景基礎(chǔ)。
Python作為數(shù)據(jù)工作領(lǐng)域的關(guān)鍵武器之一，具有開源、多場景應(yīng)用、快速上手、完善的生態(tài)和服務(wù)體系等特征，這些特征使其在數(shù)據(jù)分析與數(shù)據(jù)化運營的任何場景中都能游刃有余；即使在其為數(shù)不多的短板功能上，Python仍然可以基于膠水的特征，引入對應(yīng)的第三方工具、庫、程序等來實現(xiàn)全場景、全應(yīng)用的覆蓋。在海量數(shù)據(jù)背景下，Python對超大數(shù)據(jù)規(guī)模的支持性能、數(shù)據(jù)分析處理能力、建模的專業(yè)程度及開發(fā)便捷性的綜合能力方面要遠遠高于其他工具。因此，Python幾乎是數(shù)據(jù)化運營工作的不二之選。
縱觀整個國內(nèi)技術(shù)書籍市場，有關(guān)Python的書籍不少，但普遍都是基于工具層面的介紹，且側(cè)重于工具本身的方法、參數(shù)、調(diào)用、實例，與真正實踐結(jié)合的較少；而有關(guān)數(shù)據(jù)化運營的書籍，目前市場上還為數(shù)不多，現(xiàn)有的數(shù)據(jù)化運營方面的書籍大多是基于Excel等工具的入門級別的分析類書籍。因此，本書結(jié)合Python和數(shù)據(jù)化運營兩個方面，在數(shù)據(jù)分析工作流程和數(shù)據(jù)化運營主題結(jié)合的基礎(chǔ)上，通過指標、模型、方法、案例配合工具的形式，詳細介紹了如何使用Python來支持數(shù)據(jù)化運營，尤其是傳統(tǒng)工具無法滿足的應(yīng)用場景。
本書第1版上市后，得到來自各行各業(yè)很多好友和讀者的支持和反饋，在此致以感謝！第2版在第1版基礎(chǔ)上做了很多優(yōu)化甚至重寫，還新增了很多內(nèi)容。
優(yōu)化以及重寫的內(nèi)容
全部代碼基于Python 3做優(yōu)化或重寫，書中的Python版本是Python 3.7。
基于Jupyter做調(diào)試、分析和應(yīng)用，更適合數(shù)據(jù)分析師的應(yīng)用場景，包括探索性分析、數(shù)據(jù)預(yù)處理、結(jié)果可視化展示、交互式演示等。
網(wǎng)頁數(shù)據(jù)解析中基于Class做功能封裝和處理，便于以網(wǎng)頁對象為主體的數(shù)據(jù)工作。
PIL/Pollow的替換和方法應(yīng)用介紹，多用于圖像處理工作。
第4章數(shù)據(jù)挖掘的案例部分，每一個案例都經(jīng)過重寫，并增加了很多知識點，以實際案例為需求，實際應(yīng)用數(shù)據(jù)挖掘算法做建模和分析應(yīng)用。
Matplotlib調(diào)用3D圖形展示多個維度的信息，并可通過拖曳展示不同角度下數(shù)據(jù)的分布情況。
第5章第1個案例是RFM代碼的重構(gòu)，以及針對不同分組的精細化運營策略的制定。
第5章第2個案例是基于嵌套Pipeline和FeatureUnion復(fù)合數(shù)據(jù)工作流的營銷響應(yīng)預(yù)測，并基于復(fù)合（兩層管道）的Pipeline做數(shù)據(jù)工作流管理。
第6章第2個案例是基于集成算法GBDT和RandomForest的投票組合模型的異常檢測，GBDT和RandomForest是兩個典型的代表模型準確度和穩(wěn)定度的算法，這種兼顧準和穩(wěn)的模型搭配更符合實際需求。
第7章基于自動節(jié)點樹的數(shù)據(jù)異常原因來下探分析樹形圖的內(nèi)容和可視化，優(yōu)化了代碼和樣式，可視化效果更好，并能獲得更多信息，包括維度分解過程、主因子、其他因子和潛在因子等。
新增的內(nèi)容
基于Anaconda的Python環(huán)境的安裝和配置，更方便初學者快速搭建Python應(yīng)用環(huán)境。
Jupyter基礎(chǔ)工具的用法，包括安裝、啟動、基礎(chǔ)操作、魔術(shù)命令、新內(nèi)核安裝和使用、執(zhí)行shell命令、擴展和插件使用、系統(tǒng)基礎(chǔ)配置等。
基于Pandas的get_dummies做標志轉(zhuǎn)換，即OneHotEncode轉(zhuǎn)換。
特征選擇的降維中新增feature_selection配合SelectPercentile、VarianceThreshold、RFE、SelectFromModel做特征選擇。
特征轉(zhuǎn)換的降維中新增PCA、LDA、FA、ICA這幾個數(shù)據(jù)轉(zhuǎn)換和降維的具體方法。
特征組合的降維中新增基于GBDT、PolynomialFeatures、gplearn的genetic方法做組合特征。
第4章的分類算法中新增使用XGboost做分類應(yīng)用，以及配合graphviz輸出矢量圖形。
pyecharts的數(shù)據(jù)可視化的應(yīng)用和操作，尤其是關(guān)聯(lián)關(guān)系圖的應(yīng)用。
Python通過rpy2調(diào)用R程序，實現(xiàn)關(guān)聯(lián)算法的挖掘，包括直接執(zhí)行程序文件、代碼段、變量使用等。
Python通過rpy2調(diào)用auto.airma實現(xiàn)自動ARIMA的應(yīng)用，降低Python在時間序列算法應(yīng)用時的門檻。
自動化學習：增加了對于自動化數(shù)據(jù)挖掘與機器學習的理論、流程、知識和應(yīng)用庫介紹，并基于TPOT做自動化回歸和分類學習案例演示。
我希望能盡自己的微薄之力，將過往所學、所感、所知提煉出來供更多人了解。如果讀者能從本書中感悟一二，我將倍感欣慰；如果讀者能將其用于工作實踐，這將是本書以及數(shù)據(jù)工作之福！
讀者對象
本書旨在提供有關(guān)數(shù)據(jù)與運營的綜合知識的介紹和應(yīng)用，雖然基礎(chǔ)工具是Python，但本書并沒有就Python基礎(chǔ)規(guī)則和語法做詳細介紹，因此希望讀者具有一定的Python基礎(chǔ)。相信我，只要你認真看過Python教學視頻（網(wǎng)絡(luò)上有很多），只需大概2個小時就能具備這種基礎(chǔ)。
本書對讀者的知識背景沒有特定要求，書中的內(nèi)容都盡量言簡意賅、深入淺出。本書適合以下幾類讀者閱讀：
企業(yè)運營人員。本書的核心命題就是運營，其中涉及會員運營、商品運營、流量運營和內(nèi)容運營四大主題，無論運營人員希望獲得運營知識，還是希望獲得數(shù)據(jù)分析和挖掘方法，都可以從書中找到。
數(shù)據(jù)分析師。毫無疑問，數(shù)據(jù)分析師是本書的核心受眾群體之一，書中介紹的數(shù)據(jù)抽取、預(yù)處理和分析挖掘經(jīng)驗一定能為數(shù)據(jù)分析師帶來很多不一樣的收獲，每個運營主題下的小技巧、模型和案例更能激發(fā)數(shù)據(jù)分析師的靈感原來數(shù)據(jù)工作還能這樣做。
Python工程師。坦白講，本書不是一本專門介紹Python語法、規(guī)則的書籍。但Python作為一種萬能工具，在數(shù)據(jù)分析和挖掘領(lǐng)域具有舉足輕重的地位，對于任何一位工作領(lǐng)域中涉及數(shù)據(jù)（或大數(shù)據(jù)）的Python工程師來說，本書的價值會成倍增長。書中對Python數(shù)據(jù)處理、計算和挖掘庫的應(yīng)用介紹，以及對有關(guān)工具庫的用法、注意點和小知識的介紹一定會使Python工程師的工作和能力更上一層樓。
數(shù)據(jù)挖掘工程師。數(shù)據(jù)分析與挖掘在實際運營中都是不分家的，本書沒有冠以挖掘之名，但并不意味著沒有挖掘（或機器學習）算法。本書第4章基本都是圍繞常用算法展開的知識介紹，其中各個算法類的大坑都是筆者多年經(jīng)驗的總結(jié)；在運營主題的案例中幾乎都用到了算法來解決實際問題。除了基本的數(shù)據(jù)挖掘以外，本書還涉及自然語言處理、日志處理、文本挖掘、圖像處理等相關(guān)知識。
如何閱讀本書
本書內(nèi)容從邏輯上共分為兩大部分，第一部分是有關(guān)數(shù)據(jù)分析類的主題，第二部分是有關(guān)數(shù)據(jù)化運營的主題。
第一部分包括第1～4章和附錄，主要介紹了Python和數(shù)據(jù)化運營的基本知識、數(shù)據(jù)來源獲取、數(shù)據(jù)預(yù)處理，以及數(shù)據(jù)分析和挖掘的關(guān)鍵經(jīng)驗。其中：
第1章是Python和數(shù)據(jù)化運營的基本知識介紹。
第2章對傳統(tǒng)的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)來源及獲取、讀取和解析進行了介紹，包括數(shù)據(jù)文件、數(shù)據(jù)庫、API、流式數(shù)據(jù)、外部公開數(shù)據(jù)等，也提到了如何讀取網(wǎng)頁、文本、圖片、視頻、語音等類型的數(shù)據(jù)。
第3章總結(jié)了10個有關(guān)數(shù)據(jù)化運營過程的數(shù)據(jù)預(yù)處理經(jīng)驗，涵蓋了常見的數(shù)據(jù)清洗、標志轉(zhuǎn)換、數(shù)據(jù)降維、樣本不均衡、數(shù)據(jù)源沖突、抽樣、共線性、相關(guān)性分析、數(shù)據(jù)標準化、數(shù)據(jù)離散化等內(nèi)容，并在擴展內(nèi)容中簡單介紹了有關(guān)網(wǎng)頁、日志、圖像、自然語言的文本預(yù)處理工作，作為拓展知識閱讀。
第4章總結(jié)了數(shù)據(jù)分析、挖掘和網(wǎng)站分析方法的8個主題類，內(nèi)容涵蓋聚類、回歸、分類、關(guān)聯(lián)、異常檢測、時間序列、路徑分析、漏斗分析、歸因分析、熱力圖分析及其他統(tǒng)計分析相關(guān)話題，各個類別中都以關(guān)鍵經(jīng)驗為基礎(chǔ)，圍繞應(yīng)用誤區(qū)、注意事項和應(yīng)用方法展開詳細介紹。
第二部分包括第5～9章，分別介紹了會員運營、商品運營、流量運營和內(nèi)容運營四大主題，以及提升數(shù)據(jù)化運營價值的方法。在每個數(shù)據(jù)化運營主題中都包含了基本知識、關(guān)鍵指標、應(yīng)用場景、數(shù)據(jù)分析模型、數(shù)據(jù)分析小技巧、數(shù)據(jù)分析大實話及兩個應(yīng)用案例。
基本知識：有關(guān)運營主題的基本內(nèi)涵、價值、用途等方面的介紹。
關(guān)鍵指標：運營主題的主要評估和矩陣指標，按類別拆分和歸納。
應(yīng)用場景：總結(jié)數(shù)據(jù)對于運營的價值落地在哪些場景中。
數(shù)據(jù)分析模型：大型的數(shù)據(jù)分析方法，包括統(tǒng)計分析、數(shù)據(jù)挖掘、網(wǎng)站分析、數(shù)學模型。
數(shù)據(jù)分析小技巧：小型的數(shù)據(jù)分析方法，看起來相對簡單但非常有效。
數(shù)據(jù)分析大實話：有關(guān)運營或數(shù)據(jù)分析的潛在規(guī)律的解釋及介紹。
應(yīng)用案例：每個運營主題都包含兩個應(yīng)用案例，基本上每個案例的應(yīng)用算法和技巧都不相同，目的是呈現(xiàn)不同算法在不同場景下的差異化應(yīng)用。
除了以上內(nèi)容外，以下信息是對本書中涉及特定內(nèi)容的解釋和說明。
漸進式的內(nèi)容：本書的Python代碼和實現(xiàn)部分，在不同章節(jié)可能會具有不同的代碼風格，包括定義規(guī)則、注釋、功能實現(xiàn)等，這是因為筆者試圖遵循循序漸進的原則，先介紹功能實現(xiàn)，然后再介紹其他的備選方案，以及規(guī)范、原則等來輔助Python的實現(xiàn)。這樣做一方面是希望盡量多地展示解決同一類問題的不同方法，讓讀者能根據(jù)自身實際情況選擇最合適的用法示例；另一方面是因為，考慮到可能有很多讀者不具備較強的Python基礎(chǔ)知識，筆者不希望一上來就讓這些讀者感覺到使用Python會受到各種條條框框的限制，從而打擊他們使用Python的信心，畢竟，能實現(xiàn)功能需求是第一位的。
內(nèi)容延伸：本書第1～4章都有內(nèi)容延伸章節(jié)，其內(nèi)容是有關(guān)非結(jié)構(gòu)化主題的讀取、分析、處理。由于每個主題展開來都能寫成一本書，因此僅在內(nèi)容延伸中拋磚引玉，有興趣的讀者可以了解和學習。
相關(guān)知識點：本書很多章節(jié)中都有相關(guān)知識點部分，其內(nèi)容是關(guān)于特定工具、知識、算法、庫等方面的較為詳細的介紹，充當了本書的知識堡壘。
本章小結(jié)：每章的結(jié)尾都有本章小結(jié)，在小結(jié)中包含4部分內(nèi)容。
內(nèi)容小結(jié)：有關(guān)本章內(nèi)容