這是一本全面講解圖計算、知識圖譜及其在推薦系統(tǒng)領域應用的專著,為讀者基于神經(jīng)網(wǎng)絡構建推薦系統(tǒng)提供了詳細指導,是作者在相關領域10余年經(jīng)驗的總結。掌握本書內容,讀者可開發(fā)出能處理多模態(tài)數(shù)據(jù)的推薦算法系統(tǒng),提供更豐富和準確的推薦體驗。
本書主要內容分為兩篇。
第一篇 圖數(shù)據(jù)以及圖模型(第1-3章)
對圖數(shù)據(jù)、圖神經(jīng)網(wǎng)絡、知識圖譜的基礎知識進行了梳理,幫助讀者掌握著3項技術的關鍵原理與算法,為后面的學習打下基礎。
第二篇 推薦系統(tǒng)(第4-9章)
首先介紹了推薦系統(tǒng)的架構,包括邏輯架構、技術架構和數(shù)據(jù)建模,以及基于GNN的推薦系統(tǒng)架構;然后詳細講解了如何基于GNN構建推薦系統(tǒng),以及基于圖的推薦算法;再接著講解了知識圖譜在推薦系統(tǒng)中的應用以及相關的算法模型;最后,探討了推薦系統(tǒng)領域當前的熱點問題、研究方向以及工業(yè)級推薦系統(tǒng)領域的核心難題
本書注重實戰(zhàn),故理論知識簡練且極具針對性,包含大量實戰(zhàn)案例,圖文并茂,易于閱讀。
(1)作者背景資深:作者是資深的人工智能技術專家、搜索與推薦系統(tǒng)技術專家,在多加企業(yè)擔任算法專家、技術總監(jiān)、CTO等職。
(2)作者經(jīng)驗豐富:作者在人工智能(NLP方向)、搜索與推薦領域工作10余年,主導了多個推薦系統(tǒng)項目,實戰(zhàn)經(jīng)驗豐富。
(3)緊跟技術前沿:講解圖計算、圖神經(jīng)網(wǎng)絡、知識圖譜在推薦系統(tǒng)領域的最新應用,以及推薦系統(tǒng)的熱點問題和研究方向。
(4)解決工程難題:講解工業(yè)級推薦系統(tǒng)的架構、面臨的難題以及解決方案,以及工業(yè)級推薦系統(tǒng)的增長方案。
(5)注重實戰(zhàn)、案例詳細:本書注重實戰(zhàn),旨在解決工程實踐中的具體問題,包含大量案例且講解詳細。
(6)圖文并茂、通俗易懂:書中包含大量圖、表,以可視化方式呈現(xiàn),語言通俗易懂,閱讀體驗好,讓讀者事半功倍。
前 言 Preface
為什么要寫本書
2023年各大會議的投稿統(tǒng)計顯示,圖神經(jīng)網(wǎng)絡仍然是一個熱點方向。實際上,圖在任何領域都是一種復雜的數(shù)據(jù)結構。正是由于復雜,才吸引了眾多專家進行研究。推薦系統(tǒng)是頗具應用前景的人工智能方向之一,它與圖神經(jīng)網(wǎng)絡的結合必將產(chǎn)生巨大價值。
2003年,我開始接觸知識圖譜。知識圖譜符合人類的學習和認知習慣,其出現(xiàn)大大提高了信息檢索能力。人類能夠處理復雜信號,從中學到有用的信息,是因為人的大腦已將這部分復雜信號處理成相互影響、有聯(lián)系的信息,甚至提煉成有價值的知識。2012年,我因項亮等編寫的《推薦系統(tǒng)實踐》一書開始接觸檢索系統(tǒng)并特別關注推薦系統(tǒng),當時腦海中有很多奇怪的想法。首先,用戶怎么才能得到最好的檢索結果?其次,系統(tǒng)推薦的物品到底是不是用戶真正想要的?最后,系統(tǒng)如果一直推送用戶喜歡的物品,它到底是怎么做到的?我?guī)е@些疑問進一步學習。后來,我在工作中將深度學習和信息檢索聯(lián)系起來,在實踐中取得了不錯的效果,于是就有了將深度學習、推薦系統(tǒng)以及知識圖譜結合起來的想法,并申請了一些專利。
2023年,ChatGPT橫空出世。ChatGPT的出現(xiàn)讓人們看到了人工智能的曙光,它的發(fā)展也讓我們這些技術人員有了隱隱的擔憂:它有可能改變信息檢索的業(yè)態(tài)嗎?但是,從另一個角度來看,人類進化了這么長時間,思考事物的底層邏輯仍然是不可取代的。
因此,當神經(jīng)網(wǎng)絡再次流行,當知識圖譜概念盛行,當基于圖數(shù)據(jù)的深度神經(jīng)網(wǎng)絡流行起來時,我有了將十幾年的工作經(jīng)驗總結出來的想法,于是有了這本書。希望本書能讓更多的技術人員在學習和前行的道路上不惶恐、不焦慮。
讀者對象
本書是一本介紹圖計算、建模以及基于圖的推薦原理與實踐的書籍,適合以下人群閱讀。
.推薦系統(tǒng)研發(fā)中高級工程師
.自然語言處理中高級工程師
.圖神經(jīng)網(wǎng)絡中高級工程師
.深度學習中高級工程師
.人工智能中高級工程師
如何閱讀本書
本書分為兩篇。
第一篇:圖數(shù)據(jù)與圖模型(第1~3章)
第1章主要介紹圖數(shù)據(jù)的基礎知識,幫助讀者理解數(shù)據(jù)結構中圖的概念以及圖數(shù)據(jù)結構的表示。
第2章主要介紹圖神經(jīng)網(wǎng)絡基礎知識。
第3章主要介紹知識圖譜的基礎知識。
第二篇:推薦系統(tǒng)(第4~9章)
第4章主要介紹推薦系統(tǒng)的架構。推薦系統(tǒng)是一種信息過濾技術,旨在為用戶提供個性化的推薦內容,幫助用戶發(fā)現(xiàn)感興趣的物品或資源。推薦系統(tǒng)的核心目標是根據(jù)用戶的偏好和行為,預測和推薦用戶可能感興趣的物品。
第5章和第6章主要介紹基于GNN的推薦系統(tǒng)的構建基礎知識,以及利用圖數(shù)據(jù)進行推薦的算法。
第7章對知識圖譜在推薦系統(tǒng)中的應用展開講解。
第8章和第9章介紹推薦系統(tǒng)的熱點問題和研究方向以及實踐案例。研究人員致力于開發(fā)可解釋的推薦模型,以提高用戶對推薦結果的信任度和滿意度。
勘誤和支持
由于作者水平有限,書中難免會有一些錯誤或者不準確的地方,懇請讀者批評指正。如果你有更多的寶貴意見,也歡迎發(fā)送郵件至郵箱841412988@qq.com,期待得到你的真摯反饋。
致謝
感謝董文興博士、鄧宇博士認真細致地審稿并提供寶貴的意見。
感謝我的妻子和兩個可愛的女兒,她們時時刻刻給予我信心和力量!
謹以此書獻給我最親愛的家人,以及眾多熱愛人工智能和機器學習的朋友們!
Contents..目 錄
推薦序一
推薦序二
推薦序三
前言
第一篇 圖數(shù)據(jù)與圖模型
第1章 圖數(shù)據(jù)基礎 ··························2
1.1 數(shù)學基礎 ·····································2
1.2 圖的基本知識 ······························4
1.2.1.什么是圖 ·························4
1.2.2.圖中基本元素及定義 ·········5
1.3 圖的表示方法 ····························10
1.3.1.圖的代數(shù)表示 ················11
1.3.2.圖的遍歷 ·······················13
1.4 圖數(shù)據(jù)及圖神經(jīng)網(wǎng)絡 ··················14
1.4.1.圖數(shù)據(jù)的性質 ················14
1.4.2.圖數(shù)據(jù)應用 ···················15
1.4.3.圖神經(jīng)網(wǎng)絡的發(fā)展史 ·······16
1.5 本章小結 ···································17
第2章 圖神經(jīng)網(wǎng)絡基礎 ·················18
2.1 神經(jīng)網(wǎng)絡的基本知識 ··················18
2.1.1.神經(jīng)元 ··························19
2.1.2.前饋神經(jīng)網(wǎng)絡 ················22
2.1.3.反向傳播 ·······················23
2.2 卷積神經(jīng)網(wǎng)絡 ····························24
2.2.1.卷積神經(jīng)網(wǎng)絡基本概念
和特點 ··························25
2.2.2.卷積神經(jīng)網(wǎng)絡模型 ··········29
2.3 循環(huán)神經(jīng)網(wǎng)絡 ····························30
2.3.1.循環(huán)神經(jīng)網(wǎng)絡結構和
特點 ·····························31
2.3.2.循環(huán)神經(jīng)網(wǎng)絡模型 ··········35
2.4 圖神經(jīng)網(wǎng)絡 ································36
2.4.1.圖神經(jīng)網(wǎng)絡綜述 ·············36
2.4.2.卷積圖神經(jīng)網(wǎng)絡 ·············41
2.4.3.循環(huán)圖神經(jīng)網(wǎng)絡 ·············42
2.5 本章小結 ···································44
第3章 知識圖譜基礎 ·····················46
3.1 知識圖譜的定義和模型 ···············46
3.1.1.知識圖譜定義 ················47
3.1.2.知識圖譜嵌入 ················48
3.1.3.距離變換模型 ················51
3.1.4.語義匹配模型 ················53
3.2 知識圖譜上的神經(jīng)網(wǎng)絡 ···············55
3.2.1.關系圖卷積網(wǎng)絡 ·············55
3.2.2.知識圖譜與注意力模型 ·····55
3.3 本章小結 ···································59
第二篇 推薦系統(tǒng)
第4章 推薦系統(tǒng)架構 ·····················62
4.1 推薦系統(tǒng)的邏輯架構 ··················62
4.2 推薦系統(tǒng)的技術架構 ··················67
4.3 推薦系統(tǒng)的數(shù)據(jù)和模型部分 ········69
4.3.1.推薦系統(tǒng)中的數(shù)據(jù)平臺
建設 ·····························69
4.3.2.推薦系統(tǒng)中的數(shù)據(jù)挖掘
方法 ·····························73
4.3.3.推薦系統(tǒng)模型 ················76
4.4 推薦系統(tǒng)的評估 ·························81
4.4.1.推薦系統(tǒng)的評估實驗
方法 ·····························89
4.4.2.離線評估 ·······················89
4.4.3.在線評估 ·······················92
4.5 基于GNN的推薦系統(tǒng)架構 ·········94
4.6 本章小結 ···································96
第5章 基于GNN的推薦系統(tǒng)構
建基礎 ·······························97
5.1 關于嵌入 ···································97
5.2 Word2Vec ·································102
5.2.1.哈夫曼樹與哈夫曼編