前言

目前，高校的數(shù)據(jù)分析類課程(如數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、大數(shù)據(jù)分析等)教學(xué)方式大多以知識(shí)點(diǎn)為核心組織教學(xué)，學(xué)生主要以學(xué)習(xí)知識(shí)為主，工程應(yīng)用實(shí)踐機(jī)會(huì)較少。教師將所要教授的知識(shí)點(diǎn)在課堂上講述，課后再以作業(yè)練習(xí)、課程實(shí)驗(yàn)、課程設(shè)計(jì)等形式幫助學(xué)生深入理解課堂上所學(xué)的知識(shí)。盡管為提高教學(xué)效果，目前許多高校嘗試了大型開放式網(wǎng)絡(luò)課程（Massive Open Online Course,MOOC）、翻轉(zhuǎn)課堂、移動(dòng)課堂、同伴學(xué)習(xí)和小規(guī)模限制性在線課程（Small Private Online Course,SPOC）等教學(xué)方法的改革，但總體上來說，對(duì)于應(yīng)用性較強(qiáng)的課程教學(xué)，還存在改進(jìn)的空間，尤其是對(duì)學(xué)生的動(dòng)手實(shí)踐能力要求較高的數(shù)據(jù)分析類課程。現(xiàn)有的教學(xué)方法在傳授理論知識(shí)時(shí)，缺少實(shí)際應(yīng)用環(huán)節(jié)的支持，學(xué)生缺少在實(shí)際應(yīng)用的背景下充分理解所學(xué)知識(shí)的機(jī)會(huì)，難以培養(yǎng)學(xué)生應(yīng)用專業(yè)知識(shí)分析解決問題的技能和創(chuàng)新思維能力。

數(shù)據(jù)分析的方法是科學(xué)，但這些方法的選擇和應(yīng)用過程因問題而異，帶有很強(qiáng)的藝術(shù)性。在現(xiàn)有專業(yè)課程教學(xué)模式下，學(xué)生僅僅了解需要學(xué)習(xí)基本的理論知識(shí)，缺少實(shí)踐動(dòng)手經(jīng)歷，難以獲得這些知識(shí)的應(yīng)用技巧，很少接觸與企業(yè)實(shí)際項(xiàng)目相關(guān)的內(nèi)容，因此學(xué)生的應(yīng)用能力較弱，與企業(yè)實(shí)際的需求脫節(jié)。例如，在數(shù)據(jù)分析課程中，一般的教學(xué)方式是教師將具體數(shù)據(jù)分析的方法教授給學(xué)生，學(xué)生能夠理解算法或方法的內(nèi)容，但難以解決實(shí)際項(xiàng)目中應(yīng)用具體算法碰到的問題。目前亟待克服數(shù)據(jù)分析類課程教學(xué)脫離企業(yè)所需能力的培養(yǎng)痛點(diǎn)，在課程學(xué)習(xí)的知識(shí)基礎(chǔ)上，解決實(shí)際問題，引導(dǎo)學(xué)生解決數(shù)據(jù)分析實(shí)際問題的必要技能和思維方法。

實(shí)際上，數(shù)據(jù)分析絕大部分的教材和書籍還基本停留在基本理論和方法的介紹，實(shí)驗(yàn)部分的內(nèi)容比較簡單或者缺失，實(shí)際應(yīng)用的內(nèi)容不足。還有些實(shí)戰(zhàn)性的書籍沒有按照教材的方式編寫，案例也比較粗略，數(shù)據(jù)分析過程中的一些技能解釋膚淺。有關(guān)實(shí)際項(xiàng)目中數(shù)據(jù)分析過程思路的分析以及難點(diǎn)解析對(duì)教學(xué)，尤其是對(duì)實(shí)驗(yàn)或案例教學(xué)非常重要。最近幾年，作者與多家企業(yè)合作，在數(shù)據(jù)分析領(lǐng)域辛苦耕耘，親自參與了多個(gè)實(shí)際數(shù)據(jù)分析項(xiàng)目，熟悉數(shù)據(jù)分析過程的酸甜苦辣，希望通過本教材彌補(bǔ)國內(nèi)數(shù)據(jù)分析實(shí)用教材的不足，也希望本教材的出版能改善國內(nèi)數(shù)據(jù)分析類課程教學(xué)資料短缺的情況。

學(xué)習(xí)數(shù)據(jù)分析的最好方法就是做中學(xué)，使用實(shí)際數(shù)據(jù)解決實(shí)際問題，而不是單純學(xué)習(xí)技術(shù)。實(shí)際上，有效的數(shù)據(jù)分析需要對(duì)業(yè)務(wù)進(jìn)行深入理解，在此基礎(chǔ)上形成有效的分析思路，并通過實(shí)驗(yàn)反復(fù)比較，才能真正解決客戶的問題。在數(shù)據(jù)時(shí)代，現(xiàn)實(shí)應(yīng)用中往往不乏數(shù)據(jù)。從生活中的小數(shù)據(jù)、簡單問題開始，做各種假設(shè)，探索其中的規(guī)律。不斷嘗試常用的分析語言、工具和技術(shù)，在應(yīng)用中不斷學(xué)習(xí)新的知識(shí)，彌補(bǔ)課堂教學(xué)的不足，尤其是體會(huì)數(shù)據(jù)分析過程中書本上難得看到的分析技巧，并在應(yīng)用中舉一反三。如此反復(fù)，隨著分析問題的深入，不斷提高分析能力，體會(huì)數(shù)據(jù)分析的艱辛和解決客戶問題的快樂。

本教材不局限于數(shù)據(jù)分析基本理論和基本方法的介紹，而是立足實(shí)際應(yīng)用，突出實(shí)際數(shù)據(jù)分析項(xiàng)目中的思路，以及數(shù)據(jù)分析中的難點(diǎn)。但希望讀者具有一定的統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)(數(shù)據(jù)挖掘)、數(shù)據(jù)科學(xué)，以及必要的相關(guān)專業(yè)知識(shí)。也不追求過多的案例堆積，希望讀者能理解數(shù)據(jù)分析的思路，舉一反三。這些內(nèi)容是作者多年項(xiàng)目實(shí)踐和教學(xué)成果的總結(jié)，其中的分析思路只有參與實(shí)際的項(xiàng)目，才能體驗(yàn)到數(shù)據(jù)分析的難點(diǎn)和藝術(shù)性，這是目前教學(xué)過程中培養(yǎng)學(xué)生工程性思維的重要問題，也是真正提高學(xué)生創(chuàng)新能力和動(dòng)手能力的手段。這些內(nèi)容是數(shù)據(jù)分析的基礎(chǔ)，也是從事大數(shù)據(jù)分析必須掌握的知識(shí)和技能。有關(guān)數(shù)據(jù)挖掘常用算法的介紹，讀者可以參閱作者已經(jīng)出版的教材《商務(wù)智能(第4版)》(清華大學(xué)出版社，2016年)或其他專業(yè)書籍。

全書分為11章，具體的內(nèi)容簡介如下：

第1章從數(shù)據(jù)分析的流程出發(fā)，討論了在數(shù)據(jù)分析各個(gè)階段需要做的工作以及經(jīng)常遇到的主要問題，尤其是數(shù)據(jù)挖掘算法使用時(shí)容易遇到的難題。數(shù)據(jù)挖掘過程有一定的標(biāo)準(zhǔn)，但是針對(duì)具體的業(yè)務(wù)需求，如何設(shè)計(jì)合理、有效的數(shù)據(jù)分析流程，需要有一定的經(jīng)驗(yàn)和技巧，數(shù)據(jù)的預(yù)處理、算法的選擇等主要步驟都充分體現(xiàn)了數(shù)據(jù)挖掘的藝術(shù)性。

第2章以保險(xiǎn)產(chǎn)品推薦項(xiàng)目為例，突出了數(shù)據(jù)挖掘選擇合適的算法并非很簡單的事情，需要在理解分析問題以及對(duì)多種算法熟悉的基礎(chǔ)上，通過實(shí)驗(yàn)對(duì)初選的幾種算法進(jìn)行比較、調(diào)優(yōu)，才能選擇對(duì)解決問題效果比較好的算法。

第3章介紹了多維分析常用的可視化圖形，這是數(shù)據(jù)分析的基本功。這些圖形可以幫助數(shù)據(jù)分析師探索數(shù)據(jù)，找出數(shù)據(jù)中存在的問題以及基本規(guī)律。

第4章介紹了IBM SPSS Modeler 18數(shù)據(jù)挖掘工具的常用組件。在學(xué)習(xí)數(shù)據(jù)分析的不同階段，根據(jù)學(xué)習(xí)者的基礎(chǔ)、問題的分析難度等，可以選擇不同的工具或平臺(tái)。盡管分析工具并不是數(shù)據(jù)挖掘最重要的事情，但學(xué)習(xí)成本低、功能強(qiáng)大的分析工具對(duì)于問題的解決也是不可少的。對(duì)于編程基礎(chǔ)有限的數(shù)據(jù)分析師，可以選擇類似IBM SPSS Modeler 18的挖掘工具或TensorFlow等開源工具。盡管如此，對(duì)于有一定數(shù)據(jù)分析基礎(chǔ)的讀者，推薦學(xué)習(xí)Python、R等針對(duì)數(shù)據(jù)分析的語言，這些語言比較靈活，功能也十分強(qiáng)大。

第5章對(duì)香水的銷售數(shù)據(jù)進(jìn)行分析，討論受歡迎的香水以及特點(diǎn)，并找出影響香水銷售的主要因素，為香水的營銷提供依據(jù)。

第6章對(duì)銀行的客戶信用記錄、申請(qǐng)客戶信息、拖欠歷史記錄、消費(fèi)歷史記錄等人口屬性、交易數(shù)據(jù)進(jìn)行綜合分析，討論用戶銀行信用卡拖欠和欺詐行為特征，為銀行推廣信用卡以及風(fēng)險(xiǎn)管理提供依據(jù)。

第7章從大眾點(diǎn)評(píng)網(wǎng)抓取火鍋店海底撈的菜品介紹以及客戶評(píng)論數(shù)據(jù)，以客戶為中心，分析客戶對(duì)火鍋的偏好，為火鍋店的選址、菜品的選擇和設(shè)計(jì)，以及火鍋店的競爭力都提供了參考。

第8章以攜程網(wǎng)上某商務(wù)賓館的客戶評(píng)分、評(píng)論數(shù)據(jù)為基礎(chǔ)，通過情感分析，分析了客戶對(duì)商務(wù)賓館的偏好，并了解客戶的消費(fèi)行為，比較多家商務(wù)賓館的競爭優(yōu)劣勢，為商務(wù)賓館改進(jìn)經(jīng)營提供了參考。

第9章在某耐熱導(dǎo)線工廠最近2年的質(zhì)量管理數(shù)據(jù)的基礎(chǔ)上，分析了這些數(shù)據(jù)存在的問題，探索耐熱導(dǎo)線的加工流程中幾個(gè)工序之間半成品或成品質(zhì)量指標(biāo)的關(guān)系，提高最終產(chǎn)品的合格率。

第10章利用公安人口數(shù)據(jù)和違法犯罪人員行為特點(diǎn)的數(shù)據(jù)，建立風(fēng)險(xiǎn)評(píng)分模型，實(shí)現(xiàn)對(duì)高危人群的特征分析，識(shí)別具有違法、犯罪、可疑或可能的高危人員。

第11章討論深度學(xué)習(xí)在音頻處理領(lǐng)域的應(yīng)用，介紹了常用的深度神經(jīng)網(wǎng)絡(luò)模型，重點(diǎn)分析卷積神經(jīng)網(wǎng)絡(luò)在音頻質(zhì)量評(píng)價(jià)領(lǐng)域的應(yīng)用。

數(shù)據(jù)挖掘是一個(gè)多學(xué)科交叉的領(lǐng)域，本書通過少數(shù)實(shí)際的具體案例，闡述數(shù)據(jù)分析項(xiàng)目的過程以及一些要點(diǎn)，可作為普通高等學(xué)校數(shù)據(jù)挖掘商務(wù)數(shù)據(jù)分析商務(wù)智能等課程的案例和實(shí)驗(yàn)指導(dǎo)材料，也可供有志于數(shù)據(jù)分析師的讀者參考。配套實(shí)驗(yàn)數(shù)據(jù)、源代碼、軟件等可以從清華大學(xué)出版社網(wǎng)站下載。由于作者水平有限，書中難免有錯(cuò)誤之處，希望讀者不吝指出。

在寫作的過程中,胡遠(yuǎn)文、于召鑫、黃黎明、蒲實(shí)、朱榮斌等在資料收集方面做了一些工作，在此表示感謝。

趙衛(wèi)東2017年8月

復(fù)旦大學(xué)