機(jī)器學(xué)習(xí)方法分類
機(jī)器學(xué)習(xí)（Machine Learning）是一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。專門研究計算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。
1�卑凑沼袩o監(jiān)督分類
有監(jiān)督學(xué)習(xí)（Supervised Learning）：從給定的有標(biāo)注的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個函數(shù)（模型參數(shù)），當(dāng)新的數(shù)據(jù)到來時可以根據(jù)這個函數(shù)預(yù)測結(jié)果。常見任務(wù)包括分類與回歸。
無監(jiān)督學(xué)習(xí)（Unsupervised Learning）：沒有標(biāo)注的訓(xùn)練數(shù)據(jù)集，需要根據(jù)樣本間的統(tǒng)計規(guī)律對樣本集進(jìn)行分析，常見任務(wù)如聚類等。
半監(jiān)督學(xué)習(xí)（Semi�瞫upervised Learning）：結(jié)合（少量的）標(biāo)注訓(xùn)練數(shù)據(jù)和（大量的）未標(biāo)注數(shù)據(jù)來進(jìn)行數(shù)據(jù)的分類學(xué)習(xí)。
增強(qiáng)學(xué)習(xí)（Reinforcement Learning）：外部環(huán)境對輸出只給出評價信息而非正確答案，學(xué)習(xí)機(jī)通過強(qiáng)化受獎勵的動作來改善自身的性能。
多任務(wù)學(xué)習(xí)（Multi�瞭ask Learning）：把多個相關(guān)（Related）的任務(wù)放在一起同時學(xué)習(xí)。
2�卑凑战鉀Q問題分類
按照解決問題可分為：分類問題、回歸問題、聚類問題和其他問題。

隱馬爾可夫模型是一個關(guān)于時序的概率模型，描述由隱馬爾可夫鏈隨機(jī)生成觀測序列的過程，屬于生成模型。隱馬爾可夫模型在語音識別、自然語言處理、生物信息等領(lǐng)域有著廣泛的應(yīng)用。
條件隨機(jī)場是一個序列標(biāo)注模型，其優(yōu)點在于為一個位置進(jìn)行標(biāo)注的過程中可以利用豐富的內(nèi)部及上下文特征信息。
LDA主題模型是一種文檔主題生成模型，是一種非監(jiān)督機(jī)器學(xué)習(xí)技術(shù)。通過模擬文檔生成過程，可以用來識別大規(guī)模文檔集或語料庫中潛藏的主題信息。

機(jī)器學(xué)習(xí)面臨的難題與挑戰(zhàn)
（1）數(shù)據(jù)稀疏性：訓(xùn)練一個模型，需要大量（標(biāo)注）數(shù)據(jù)，但是數(shù)據(jù)往往比較稀疏。例如：想訓(xùn)練一個模型表征某人“購物興趣”，但是這個人在網(wǎng)站上瀏覽行為很少，購物歷史很少，很難訓(xùn)練出一個“有意義模型”來預(yù)測應(yīng)該給這個人推薦什么商品等。
（2）高數(shù)量和高質(zhì)量標(biāo)注數(shù)據(jù)需求：獲取標(biāo)定數(shù)據(jù)需要耗費(fèi)大量人力和財力。而且，人會出錯，有主觀性。如何獲取高數(shù)量和高質(zhì)量標(biāo)定數(shù)據(jù)，或者用機(jī)器學(xué)習(xí)方法只標(biāo)注“關(guān)鍵”數(shù)據(jù)（主動學(xué)習(xí)）值得深入研究。
（3）冷啟動問題：一個好互聯(lián)網(wǎng)產(chǎn)品，用的人越多，得到的數(shù)據(jù)越多；得到的數(shù)據(jù)越多，模型訓(xùn)練得越好，產(chǎn)品會變得更好用，用的人就會更多……進(jìn)入良性循環(huán)（漣漪效益）。對于一個新產(chǎn)品，在初期要面臨數(shù)據(jù)不足的冷啟動問題。
（4）泛化能力問題：訓(xùn)練數(shù)據(jù)不能全面、均衡地代表真實數(shù)據(jù)。
（5）模型抽象困難：總結(jié)歸納實際問題中的數(shù)學(xué)表示非常困難。
（6）模型評估困難：在很多實際問題中，很難形式化地、定量地評估一個模型的結(jié)果是好還是不好。
（7）尋找最優(yōu)解困難：要解決的實際問題非常復(fù)雜，將其形式化后的目標(biāo)函數(shù)也非常復(fù)雜，往往在目前還不存在一個有效的算法能找到目標(biāo)函數(shù)的最優(yōu)值。
（8）可擴(kuò)展性是互聯(lián)網(wǎng)的核心問題之一。搜索引擎索引的重要網(wǎng)頁超過100億：如果1臺機(jī)器每秒處理1 000個網(wǎng)頁，需要至少100天。所以出現(xiàn)了MapReduce、MPI、Spark、Pegasus、Pregel、Hama等分布式計算構(gòu)架。選擇什么樣的計算平臺，與算法設(shè)計緊密相關(guān)。
（9）速度是互聯(lián)網(wǎng)核心的用戶體驗。線下模型訓(xùn)練可以花費(fèi)很長時間，如Google某個模型更新一次需要幾千臺機(jī)器，大約訓(xùn)練半年時間。但是，線上使用模型時要求一定要“快，并且實時”。
（10）在線學(xué)習(xí)：互聯(lián)網(wǎng)每時每刻都在產(chǎn)生大量新數(shù)據(jù)，要求模型隨之不停更新，所以在線學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個重要研究方向。

機(jī)器學(xué)習(xí)發(fā)展的啟示
“機(jī)器學(xué)習(xí)”在其十年的黃金發(fā)展期，機(jī)器學(xué)習(xí)界并沒有過多地炒作“智能”或者“認(rèn)知”，而是關(guān)注于引入統(tǒng)計學(xué)等來建立學(xué)科的理論基礎(chǔ)，面向數(shù)據(jù)分析與處理，以無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)為兩大主要的研究問題，提出和開發(fā)了一系列模型、方法和計算算法等，切實地解決了工業(yè)界所面臨的一些實際問題。因為大數(shù)據(jù)的驅(qū)動和計算能力的極大提升，一批面向機(jī)器學(xué)習(xí)的底層架構(gòu)先后被開發(fā)出來。神經(jīng)網(wǎng)絡(luò)其實在20世紀(jì)80年代末或90年代初就被廣泛研究，但后來沉寂了。而基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)強(qiáng)勢崛起，給工業(yè)界帶來了深刻的變革和機(jī)遇。深度學(xué)習(xí)的成功不是源自腦科學(xué)或認(rèn)知科學(xué)的進(jìn)展，而是因為大數(shù)據(jù)的驅(qū)動和計算能力的極大提升。
機(jī)器學(xué)習(xí)的發(fā)展詮釋了多學(xué)科交叉的重要性和必要性。然而這種交叉不是簡單地彼此知道幾個名詞或概念就可以的，是需要真正融會貫通。統(tǒng)計學(xué)家弗萊德曼早期從事物理學(xué)研究，他是優(yōu)化算法大師，而且他的編程能力同樣令人贊嘆。喬丹教授既是一流的計算機(jī)學(xué)家，又是一流的統(tǒng)計學(xué)家，而他的博士專業(yè)為心理學(xué)，他能夠承擔(dān)起建立統(tǒng)計機(jī)器學(xué)習(xí)的重任。辛頓教授是世界最著名的認(rèn)知心理學(xué)家和計算機(jī)科學(xué)家。雖然他很早就成就斐然，在學(xué)術(shù)界久負(fù)盛名，但他依然始終活躍在一線，自己寫代碼。他提出的許多想法簡單、可行又非常有效，被稱為偉大的思想家。正是由于他的睿智和身體力行，深度學(xué)習(xí)技術(shù)迎來了革命性的突破。這些學(xué)者非常務(wù)實，從不提那些空洞無物的概念和框架。他們遵循自下而上的方式，從具體問題、模型、方法、算法等著手，一步一步實現(xiàn)系統(tǒng)化。
可以說機(jī)器學(xué)習(xí)是由學(xué)術(shù)界、工業(yè)界、創(chuàng)業(yè)界（或競賽界）等合力造就的。學(xué)術(shù)界是引擎，工業(yè)界是驅(qū)動，創(chuàng)業(yè)界是活力和未來。學(xué)術(shù)界和工業(yè)界應(yīng)該有各自的職責(zé)和分工。學(xué)術(shù)界的職責(zé)在于建立和發(fā)展機(jī)器學(xué)習(xí)學(xué)科，培養(yǎng)機(jī)器學(xué)習(xí)領(lǐng)域的專門人才；而大項目、大工程更應(yīng)該由市場來驅(qū)動，由工業(yè)界來實施和完成。
本書內(nèi)容包括機(jī)器學(xué)習(xí)概述、決策樹學(xué)習(xí)、多層感知器、維度約簡、支持向量機(jī)、無監(jiān)督學(xué)習(xí)、概率圖模型、強(qiáng)化學(xué)習(xí)、深度學(xué)習(xí)。除包括基本概念、基本知識外，每章均包括相關(guān)技術(shù)的應(yīng)用概述及典型應(yīng)用案例。
本書適合作為高等院校人工智能、數(shù)據(jù)科學(xué)與大數(shù)據(jù)、計算機(jī)科學(xué)與技術(shù)、軟件工程等計算機(jī)類專業(yè)的本科生及研究生“機(jī)器學(xué)習(xí)”課程的教材，也可作為機(jī)器學(xué)習(xí)各類培訓(xùn)用書和愛好者的參考書。
賁可榮、魏娜撰寫第1、2、3、5、9章及第6��6節(jié)，張獻(xiàn)參與第9章的撰寫。其余章節(jié)（含第2��5節(jié)）由袁景凌老師撰寫，董建升、丁遠(yuǎn)遠(yuǎn)、曹陽、肖嵩參加了部分案例編寫。賁可榮組織了本書編寫，并撰寫前言。南京大學(xué)徐潔磐教授審閱了全書，并提出寶貴意見，特此致謝。最后感謝參考文獻(xiàn)的所有作者。
由于時間倉促及編者水平所限，必定存在許多不足，懇請讀者批評指正，將不勝感謝。
編者2019年11月