本書由Intel的技術(shù)專家撰寫，系統(tǒng)地講解在IntelXeon處理器和IntelXeonPhi協(xié)處理器上進(jìn)行并行處理和編程的方法和技術(shù),展示了更好地利用Intel處理器或其他多核處理器的系統(tǒng)計(jì)算潛力的有效方法。全書包括大量來(lái)自多個(gè)行業(yè)和不同領(lǐng)域的并行編程例子。每章既詳細(xì)講述所采用的編程技術(shù)，同時(shí)展示了其在IntelXeonPhi協(xié)處理器和多核處理器上的高性能結(jié)果。幾十個(gè)新的例子和案例顯示的“成功經(jīng)驗(yàn)”不但展現(xiàn)了這些強(qiáng)大系統(tǒng)的主要特征，而且展示出如何在這些異構(gòu)系統(tǒng)上保持并行化。
James Reinders，英特爾軟件總監(jiān)，首席技術(shù)布道師。參與多個(gè)旨在加強(qiáng)并行編程在工業(yè)界應(yīng)用的工程研究和教育項(xiàng)目。他對(duì)多個(gè)項(xiàng)目做出了貢獻(xiàn)，包括世界上首例Teraflop級(jí)超級(jí)計(jì)算機(jī)（ASCI Red）和世界上首例Teraflop級(jí)微處理器（Intel Xeon Phi協(xié)處理器）。
Jim Jeffers，英特爾MIC（集成眾核）架構(gòu)專家和首席工程師，對(duì)至強(qiáng)融核協(xié)處理器有著較為深入與全面的研究。
High Performance Parallelism Pearls:Multicore and Many-core Programming Approaches本書囊括了69位作者的Intel Xeon Phi協(xié)處理器并行編程經(jīng)驗(yàn)，他們將處理器和協(xié)處理器的性能發(fā)揮得淋漓盡致。其中討論了并行編程中許多關(guān)鍵的挑戰(zhàn)和技術(shù)，并給出了令人激動(dòng)的成果。大多數(shù)章節(jié)展示如何良好地進(jìn)行擴(kuò)展和向量化，這將有利于在多核處理器和眾核Intel Xeon Phi協(xié)處理器上獲得更好的性能。其他章節(jié)揭示如何在提供了通用編程模型的系統(tǒng)下利用由Intel Xeon處理器和Intel Xeon Phi協(xié)處理器組成的新異構(gòu)系統(tǒng)。書中還提供了關(guān)于部署、管理、監(jiān)控與運(yùn)行這些新異構(gòu)系統(tǒng)和集群的專家建議。
來(lái)自61個(gè)內(nèi)核的靈感：編程新紀(jì)元對(duì)我們來(lái)說(shuō)，比Intel Xeon Phi協(xié)處理器的成功更引人矚目的是Intel Xeon Phi協(xié)處理器對(duì)并行編程的激勵(lì)。這個(gè)協(xié)處理器開(kāi)啟了編程的新篇章。而在多達(dá)61個(gè)內(nèi)核上的并行編程似乎遠(yuǎn)比在4個(gè)或者8個(gè)內(nèi)核上的并行編程更有吸引力。它激發(fā)了人們將并行編程技術(shù)首次應(yīng)用于一些應(yīng)用程序以及改進(jìn)已有的并行應(yīng)用程序的興趣。它激勵(lì)人們研究真正可擴(kuò)展的并行編程，而不僅僅是在只有少量并行（比如四核處理器上）時(shí)取得的尚可（有時(shí)甚至微小）的性能提高。
Intel Xeon Phi協(xié)處理器為并行化帶來(lái)了變革，為在其中探索的人們帶了巨大的機(jī)遇。在這個(gè)過(guò)程中，我們不需要新的編程模型、新的語(yǔ)言或者新的工具。本書提供的并行編程工作和思想，描述了如何將舊的技術(shù)應(yīng)用到新的異構(gòu)編程平臺(tái)上。這將幫助我們挖掘這一平臺(tái)的巨大潛力。
我們非常感謝各位作者。各章的作者致力于在這個(gè)令人鼓舞的強(qiáng)大設(shè)備上編程。工作之余，他們?yōu)槲覀冊(cè)斒鲎约旱墓ぷ�，以便使我們學(xué)習(xí)他們的成功經(jīng)驗(yàn)。我們希望你能夠從中受益，并在這個(gè)并行計(jì)算的新時(shí)代獲得成功。
致謝本書的完成首先要感謝為此付出努力的軟件開(kāi)發(fā)工程師們，他們?cè)诠ぷ髦嗯c我們分享經(jīng)驗(yàn)。本書濃縮了各位作者的成果。他們的名字列在其所寫章節(jié)的開(kāi)頭，“作者簡(jiǎn)介”中有關(guān)于他們的簡(jiǎn)要介紹。我們要感謝所有作者堅(jiān)持不懈的努力與理解。
感謝我們共同的朋友Sverre Jarp在“推薦序”中分享他獨(dú)特的見(jiàn)解，感謝Joe Curley鼓勵(lì)我們完成這件幾乎不可能完成的事情。
James Reinders感謝妻子Susan Meredith，她的支持對(duì)于本書的完成至關(guān)重要。同時(shí)，James也感謝女兒Katie和兒子Andrew一直以來(lái)的大力支持。最后，James要感謝合著者和朋友Jim Jeffers，感謝他又一次成為完美搭檔。
Jim Jeffers感謝妻子Laura一如既往的支持和鼓勵(lì)。Jim感謝孩子（包括孩子們的配偶）Tim、Patrick、Colleen、Sarah、Jon，尤其是剛出生的孫女Hannah，他們無(wú)時(shí)無(wú)刻不在鼓舞著他。最后，Jim非常感謝合著者和朋友James Reinders，感謝他的專業(yè)技能和指導(dǎo)，感謝他堅(jiān)定地恪守承諾使這本書從概念變成現(xiàn)實(shí)。
感謝Joe Curley、Bob Burroughs、Herb Hinstorff、Rob Farber和Nathan Schultz提供的支持、指導(dǎo)和反饋。
感謝整個(gè)Morgan Kaufmann團(tuán)隊(duì)的辛勤工作，包括與我們直接合作的三個(gè)人：Todd Green、Lindsay Lawrence和Priya Kumaraguruparan。
許多同事提供了信息、建議和想法。當(dāng)然，還有很多人直接或間接地提供了幫助，對(duì)此我們深表感激。感謝所有幫助過(guò)我們的人，并對(duì)我們忘記提到名字的所有人表示歉意。
感謝所有人。
——Jim JeffersJames ReindersIntel公司2014年11月
目 錄
High Performance Parallelism Pearls: Multicore and Many-core Programming Approaches
出版者的話
譯者序
推薦序
前 言
作者簡(jiǎn)介
第1章 引言 1
1.1 學(xué)習(xí)成功經(jīng)驗(yàn) 1
1.2 代碼現(xiàn)代化 1
1.3 并發(fā)算法現(xiàn)代化 1
1.4 向量化和數(shù)據(jù)局部性現(xiàn)代化 2
1.5 理解功耗使用 2
1.6 ISPC和OpenCL 2
1.7 Intel Xeon Phi協(xié)處理器特性 2
1.8 眾核和新異構(gòu)系統(tǒng) 2
1.9 書名中沒(méi)有Xeon Phi與新異構(gòu)架構(gòu)編程 3
1.10 眾核的未來(lái) 3
1.11 下載 3
1.12 更多信息 4
第2章從正確到正確&高效：Godunov
格式的Hydro2D案例學(xué)習(xí) 5
2.1 現(xiàn)代計(jì)算機(jī)上的科學(xué)計(jì)算 5
2.1.1 現(xiàn)代計(jì)算環(huán)境 6
2.1.2 CEA的Hydro2D 6
2.2 沖擊流體動(dòng)力學(xué)的一種數(shù)值方法 7
2.2.1 歐拉方程 7
2.2.2 Godunov方法 7
2.2.3 哪里需要優(yōu)化 9
2.3 現(xiàn)代計(jì)算機(jī)架構(gòu)的特征 9
2.3.1 面向性能的架構(gòu) 9
2.3.2 編程工具和運(yùn)行時(shí) 10
2.3.3 計(jì)算環(huán)境 11
2.4 通向高性能的路 11
2.4.1 運(yùn)行Hydro2D 11
2.4.2 Hydro2D的結(jié)構(gòu) 12
2.4.3 優(yōu)化 15
2.4.4 內(nèi)存使用 16
2.4.5 線程級(jí)并行 17
2.4.6 算術(shù)效率和指令級(jí)并行 24
2.4.7 數(shù)據(jù)級(jí)并行 26
2.5 總結(jié) 32
2.5.1 協(xié)處理器與處理器 32
2.5.2 水漲船高 32
2.5.3 性能策略 33
2.6 更多信息 34
第3章HBM上的SIMD與并發(fā)優(yōu)化 36
3.1應(yīng)用程序：HIROMB-BOOS-MODEL 36
3.2 關(guān)鍵應(yīng)用：DMI 36
3.3 HBM執(zhí)行配置文件 37
3.4 HBM優(yōu)化綜述 38
3.5 數(shù)據(jù)結(jié)構(gòu)：準(zhǔn)確定位位置 38
3.6 HBM上的線程并行 41
3.7 數(shù)據(jù)并行：SIMD向量化 45
3.7.1 零散的可優(yōu)化部分 46
3.7.2 過(guò)早抽象是萬(wàn)惡之源 48
3.8 結(jié)果 50
3.9 詳情分析 51
3.10 處理器與協(xié)處理器可擴(kuò)展性對(duì)比 52
3.11 CONTIGUOUS屬性 53
3.12 總結(jié) 54
3.13 參考文獻(xiàn) 54
3.14 更多信息 55
第4章 流體動(dòng)力學(xué)方程優(yōu)化 56
4.1 開(kāi)始 56
4.2 1.0版本：基礎(chǔ)版本 57
4.3 2.0版本：線程盒 59
4.4 3.0版本：棧內(nèi)存 63
4.5 4.0版本：分塊 63
4.6 5.0版本：向量化 64
4.7Intel Xeon Phi協(xié)處理器上的運(yùn)行結(jié)果 68
4.8 總結(jié) 69
4.9 更多信息 70
第5章 分階段準(zhǔn)同步柵欄 71
5.1 如何改善代碼 74
5.2 如何進(jìn)一步改善代碼 74
5.3 超線程方陣 74
5.4關(guān)于該方案哪些地方不是最優(yōu)的 75
5.5 超線程方陣編碼 76
5.5.1如何確定內(nèi)核間兄弟線程和內(nèi)核內(nèi)HT線程 77
5.5.2 超線程方陣手動(dòng)分區(qū)方法 77
5.5.3 吸取教訓(xùn) 79
5.6 回到工作 80
5.7 數(shù)據(jù)對(duì)齊 81
5.7.1 盡可能使用對(duì)齊的數(shù)據(jù) 81
5.7.2 冗余未必是件壞事 81
5.8 深入討論分階段準(zhǔn)同步柵欄 84
5.9 如何節(jié)省時(shí)間 86
5.10 幾個(gè)留給讀者的優(yōu)化思考 90
5.11類似Xeon Phi協(xié)處理器的Xeon主機(jī)性能優(yōu)化 91
5.12 總結(jié) 92
5.13 更多信息 92
第6章 故障樹(shù)表達(dá)式并行求解 93
6.1 動(dòng)機(jī)和背景 93
6.1.1 表達(dá)式 93
6.1.2 表達(dá)式選擇：故障樹(shù) 93
6.1.3 程序?qū)嵗械墓收蠘?shù)：基本模擬 93
6.2 實(shí)例實(shí)現(xiàn) 94
6.3 其他因素 101
6.4 總結(jié) 101
6.5 更多信息 101
第7章 深度學(xué)習(xí)的數(shù)值優(yōu)化 102
7.1 擬合目標(biāo)函數(shù) 102
7.2 目標(biāo)函數(shù)與主成分分析 105
7.3 軟件及樣例數(shù)據(jù) 106
7.4 訓(xùn)練數(shù)據(jù) 109
7.5 運(yùn)行時(shí)間 109
7.6 擴(kuò)展結(jié)果 111
7.7 總結(jié) 111
7.8 更多信息 112
第8章 優(yōu)化聚集/分散模式 113
8.1 聚集/分散在Intel架構(gòu)下的說(shuō)明 114
8.2 聚集/分散模式在分子動(dòng)力學(xué)中的應(yīng)用 115
8.3 優(yōu)化聚集/分散模式 117
8.3.1 提高時(shí)間和空間的局部性 117
8.3.2 選擇一種適當(dāng)?shù)臄?shù)據(jù)布局：AoS與SoA 118
8.3.3 AoS和SoA之間的動(dòng)態(tài)轉(zhuǎn)換 119
8.3.4 分?jǐn)偩奂?分散和轉(zhuǎn)換的開(kāi)銷 122
8.4 總結(jié) 123
8.5 更多信息 123
第9章N體問(wèn)題直接法的眾核實(shí)現(xiàn) 125
9.1 N體模擬 125
9.2 初始解決方案 125
9.3 理論極限 126
9.4 降低開(kāi)銷和對(duì)齊數(shù)據(jù) 128
9.5 優(yōu)化存儲(chǔ)層次 131
9.6 改進(jìn)分塊 133
9.7 主機(jī)端的優(yōu)化 135
9.8 總結(jié) 136
9.9 更多信息 136
第10章 N體方法 137
10.1 快速N體方法和直接N體內(nèi)核 137
10.2 N體方法的應(yīng)用 138
10.3 直接N體代碼 138
10.4 性能結(jié)果 141
10.5 總結(jié) 142
10.6 更多信息 142
第11章 使用OpenMP 4.0實(shí)現(xiàn)動(dòng)態(tài)負(fù)載均衡 144
11.1 最大化硬件利用率 144
11.2 N體內(nèi)核 146
11.3 卸載版本 149
11.4 第一個(gè)處理器與協(xié)處理器協(xié)作版本 150
11.5 多協(xié)處理器版本 152
11.6 更多信息 155
第12章 并發(fā)內(nèi)核卸載 156
12.1 設(shè)定上下文 156
12.1.1 粒子動(dòng)力學(xué) 156
12.1.2 本章結(jié)構(gòu) 157
12.2 協(xié)處理器上的并發(fā)內(nèi)核 158
12.2.1 協(xié)處理器設(shè)備劃分和線程關(guān)聯(lián) 158
12.2.2 并發(fā)數(shù)據(jù)傳輸 163
12.3 在PD中使用并發(fā)內(nèi)核卸載進(jìn)行作用力計(jì)算 166
12.3.1 使用牛頓第三定律并行評(píng)估作用力 166
12.3.2 實(shí)現(xiàn)作用力并發(fā)計(jì)算 167
12.3.3 性能評(píng)估：之前與之后 171
12.4 總結(jié)
書單推薦
