本書探索理論計算機科學和機器學習這兩個領域能夠互相借鑒的知識,以此把它們關聯(lián)起來。本書介紹機器學習中的重要模型和主要問題,并以一種容易理解的方式介紹該領域的前沿研究成果以及現(xiàn)代算法工具,包括矩量法、張量分解法和凸規(guī)劃松弛法。本書共8章,內容涵蓋非負矩陣分解、主題模型、張量分解、稀疏恢復、稀疏編碼、高斯混合模型和矩陣補全等。本書適合理論計算機科學家、機器學習研究人員以及相關專業(yè)的學生閱讀和學習。
適讀人群 :理論計算機科學家、機器學習研究人員以及相關專業(yè)的學生 本書基于麻省理工學院在2013年秋季、2015年春季和2017年秋季開設的“Algorithmic Aspects of Machine Learning”課程編寫,探索理論計算機科學和機器學習這兩個領域能夠互相借鑒的知識,以此把它們關聯(lián)起來。向理論計算機科學家介紹機器學習中的重要模型和主要問題,并以一種可訪問的形式向機器學習研究人員介紹前沿研究成果以及現(xiàn)代算法工具,包括矩量法、張量分解法和凸規(guī)劃松弛法。
譯者序
Algorithmic Aspects of Machine Learning
隨著人工智能在近十年的不斷興起,以及計算科學技術的發(fā)展進步,學術界/工業(yè)界對機器學習算法的研究逐漸深入,很多實際應用問題得以解決。機器學習是一門多領域交叉學科,涉及概率論、統(tǒng)計學、逼近論、凸分析、算法復雜度理論等多門學科。機器學習是人工智能的核心,主要研究計算機怎樣模擬或實現(xiàn)人類的學習行為,以獲取新的知識或技能,重新組織已有的知識結構使之不斷完善。
雖然機器學習的覆蓋范圍比較廣,但本書主要集中在處理矩陣數(shù)據(jù)的矩陣運算算法方面,專業(yè)性比較強。相對于以往專注于機器學習理論以及機器學習算法實踐方面的書籍,本書應該介于這兩者之間,目的是使讀者針對算法“知其然且知其所以然”。本書可以作為相關專業(yè)本科高年級學生或研究生的教材。
非常感謝本書作者的信任和機械工業(yè)出版社的委托,本書的翻譯是由我和蘇州大學的趙朋朋老師合作完成的。我們兩個人的研究方向都是機器學習、數(shù)據(jù)挖掘,包括遷移學習、推薦系統(tǒng)等。還有一些研究生也參與了本書的翻譯工作,他們是(排名不分先后):郭慶宇、沈丹瑤、齊志遠、羅安靖、趙靜。出版社的編輯在排版和校對方面給予了我們極大的幫助。感謝他們?yōu)楸緯某霭娓冻龅呐Γ?/p>
由于時間倉促以及一些翻譯習慣上的差異,本書難免存在瑕疵,在此謹致歉意。若有發(fā)現(xiàn),請及時反饋給我或出版社以進行修正,本人將不勝感激。
莊福振
2021年1月
前言
Algorithmic Aspects of Machine Learning
本書基于麻省理工學院在2013年秋季、2015年春季和2017年秋季開設的“Algorithmic Aspects of Machine Learning”課程。感謝學習本課程并使之成為一次美妙體驗的所有學生。
安柯·莫特拉(Ankur Moitra)
麻省理工學院洛克威爾國際數(shù)學系副教授。他是麻省理工學院計算機科學和人工智能實驗室(CSAIL)的首席研究員,也是計算理論小組、機器學習和統(tǒng)計中心的核心成員。他的工作目標是通過開發(fā)在行為推理方面具有可證明的保證和基礎的算法,來在理論計算機科學和機器學習之間架起一座橋梁。他是帕克德獎學金、斯隆獎學金、美國國家科學基金會(NSF)終身成就獎、NSF計算與創(chuàng)新獎學金和赫茲獎學金的獲得者。
◆ 譯者簡介 ◆
莊福振 北京航空航天大學研究員、博士生導師,于2011年7月在中國科學院研究生院獲得博士學位。主要從事機器學習、數(shù)據(jù)挖掘,包括遷移學習、多任務學習、推薦系統(tǒng)以及大數(shù)據(jù)挖掘應用等方面的研究,相關成果已經在本領域頂級、重要國際期刊和國際會議上發(fā)表/錄用論文100余篇。遷移學習的工作曾獲得SDM2010和CIKM2010的最佳論文提名,2013年獲得中國人工智能學會優(yōu)秀博士學位論文獎。入選2015年微軟亞洲研究院青年教師“鑄星計劃”,2017年入選中國科學院青年創(chuàng)新促進會。
趙朋朋 蘇州大學教授,博士生導師,蘇州工業(yè)園區(qū)科技領軍人才, CCF 高級會員,CCF人工智能與模式識別專委會委員,CCF大數(shù)據(jù)專家委員會通訊委員。近年來,主持國家自然科學基金項目2項、省市級項目5項,獲蘇州市科技進步獎 2項;參加國家自然科學基金項目、教育部重點項目、江蘇省重大科技支撐與自主創(chuàng)新項目等6項;主持多項企業(yè)/國防橫向項目研發(fā),包括推薦引擎、流式數(shù)據(jù)處理、大數(shù)據(jù)分析等。在相關學術會議和期刊上發(fā)表論文100余篇,其中包括50余篇TKDE、AAAI、IJCAI、WWW、ACM MM、ICDM等CCF-A/B類論文,被SCI、EI索引收錄100余篇;申請國家發(fā)明專利30余項,其中20余項已獲授權。擔任AAAI、IJCAI、CIKM、DASFAA、PAKDD等權威國際會議程序委員會委員。主要研究興趣包括推薦系統(tǒng)、數(shù)據(jù)挖掘、深度學習、大數(shù)據(jù)分析等。
譯者序
前言
第1章引言
第2章非負矩陣分解
21介紹
22代數(shù)算法
23穩(wěn)定性和可分離性
24主題模型
25練習
第3章張量分解:算法
31旋轉問題
32張量入門
33Jennrich算法
34矩陣攝動界
35練習
第4章張量分解:應用
41進化樹和隱馬爾可夫模型
42社區(qū)發(fā)現(xiàn)
43擴展到混合模型
44獨立成分分析
45練習
第5章稀疏恢復
51介紹
52非相干性和不確定性原理
53追蹤算法
54Prony方法
55壓縮感知
56練習
第6章稀疏編碼
61介紹
62不完備情況
63梯度下降
64過完備情況
65練習
第7章高斯混合模型
71介紹
72基于聚類的算法
73密度估計的討論
74無聚類算法
75單變量算法
76代數(shù)幾何視圖
77練習
第8章矩陣補全
81介紹
82核范數(shù)
83量子高爾夫
參考文獻
索引