前　　言
本書主要是為需要強(qiáng)大計(jì)算能力的人編寫的，包括那些需要這種能力對數(shù)據(jù)進(jìn)行獲取、處理、分析或建模的科研人員。對于需要處理更大數(shù)據(jù)集與更復(fù)雜圖像數(shù)據(jù)的醫(yī)療數(shù)據(jù)人員，他們也會(huì)發(fā)現(xiàn)本書對其很有幫助。
在我的整個(gè)研究生涯中，我一直在面對復(fù)雜而苛刻的計(jì)算，首先是在高能物理學(xué)實(shí)驗(yàn)中，最近是在醫(yī)學(xué)成像的各種應(yīng)用中。GPU計(jì)算的出現(xiàn)是我所見過的最激動(dòng)人心的發(fā)展之一，撰寫本書的一個(gè)原因就是要與讀者分享這種興奮。
這似乎是摩爾定律的必然結(jié)果——對計(jì)算能力的需求增長總是超過當(dāng)前可用的水平。自20世紀(jì)80年代初期PC時(shí)代開啟以來，供應(yīng)商一直在提供附加卡以提高渲染顯示的速度。這些卡現(xiàn)在被稱為圖形處理單元（Graphic Processing Unit, GPU），在PC游戲行業(yè)需求的推動(dòng)下，它們已經(jīng)成為非常強(qiáng)大的計(jì)算引擎。2007年，NVIDIA推出的CUDA工具包徹底改變了游戲規(guī)則，該工具包可以用來編寫出利用GPU強(qiáng)大性能的科學(xué)應(yīng)用軟件。我們的計(jì)算能力突然提高了100倍，不再遵循過去每18個(gè)月翻一倍的規(guī)律。從那時(shí)起，GPU性能也隨著時(shí)間的推移繼續(xù)呈指數(shù)級增長，超越了摩爾定律。因此，現(xiàn)在開始了解如何在GPU上進(jìn)行編程，與在2007年一樣有用。事實(shí)上，你現(xiàn)在想在世界級超級計(jì)算機(jī)上進(jìn)行高性能計(jì)算（HPC），就必須了解如何使用GPU。
大約在2002年之前，PC計(jì)算能力的指數(shù)級增長主要依賴于時(shí)鐘速度的提高。然而從那時(shí)候起，時(shí)鐘速度穩(wěn)定在3.5 GHz左右，但CPU芯片中的核心數(shù)量在穩(wěn)步增加。因此，并行編程（使用同時(shí)運(yùn)行的多個(gè)協(xié)作核心來分擔(dān)單個(gè)任務(wù)的計(jì)算負(fù)載）對于從現(xiàn)代硬件中獲益至關(guān)重要。GPU將并行編程提升到一個(gè)新的水平，允許數(shù)千甚至數(shù)百萬個(gè)并行線程在計(jì)算中進(jìn)行協(xié)作。
科學(xué)研究難度大并且競爭激烈，可用的計(jì)算能力往往是一個(gè)限制因素。將一個(gè)重要的計(jì)算加快200倍可能會(huì)改變游戲規(guī)則，將原本需要一周的運(yùn)行時(shí)間縮短到1 h以內(nèi)，那么一天之內(nèi)就可以進(jìn)行結(jié)果分析。將需要1 h的運(yùn)行時(shí)間縮短到18 s，這樣就可以探索復(fù)雜模型的參數(shù)空間。將幾s的運(yùn)行時(shí)間縮短到幾ms，就可以對計(jì)算機(jī)模型進(jìn)行交互式研究。本書對個(gè)人研究者和小團(tuán)隊(duì)?wèi)?yīng)該特別有用，他們可以為自己的內(nèi)部PC配備GPU，并獲得這些性能上的好處。即使是可以輕松訪問大型HPC設(shè)施的團(tuán)隊(duì)，也可以從在他們自己的臺(tái)式機(jī)上使用非�？焖俚墓ぞ邅硖剿髌浣Y(jié)果而受益。
當(dāng)然，本書也適合任何有興趣深入了解GPU和并行編程的讀者。即使你已經(jīng)對該主題有所了解，我們相信你也可以從研究我們的編碼風(fēng)格與選擇的示例中受益。
具體而言，本書主要介紹使用C++對NVIDIA GPU進(jìn)行編程。自2007年以來，NVIDIA已成為HPC領(lǐng)域的主導(dǎo)力量，最近還成為AI領(lǐng)域的主導(dǎo)力量，這不僅由于GPU的成本效益，還由于CUDA語言使用類似于C++的優(yōu)雅特效。我知道一些科學(xué)編程仍然使用Fortran的各種版本（包括Fortran IV，這是我在20世紀(jì)80年代初期非常喜歡的一種語言）， 但在我看來，C++更具表現(xiàn)力。Fortran的粉絲可能會(huì)指出使用指針優(yōu)化C++代碼存在技術(shù)問題，但這些問題隨著在C11中引入restrict關(guān)鍵字，已在C++11中得到解決�，F(xiàn)代C++編譯器也支持這個(gè)關(guān)鍵字，并且在我們的許多示例中都使用它。
示例是本書區(qū)別于當(dāng)前其他關(guān)于CUDA書籍的一個(gè)特點(diǎn)，我們的示例是從有趣的現(xiàn)實(shí)世界應(yīng)用中精心制作的，包括物理和醫(yī)學(xué)成像，而不是在其他地方找到的相當(dāng)基礎(chǔ)的常見問題。本書區(qū)別于其他書籍的另一個(gè)特點(diǎn)是，我們在編寫代碼的外觀方面是非常用心的，在適當(dāng)?shù)牡胤绞褂矛F(xiàn)代的C++來減少冗余并保持簡潔，我認(rèn)為這真的很重要。根據(jù)我的經(jīng)驗(yàn)，許多人會(huì)通過修改其他人的代碼來學(xué)習(xí)計(jì)算機(jī)編程，盡管目前流通的大部分CUDA示例代碼都有效，但談不上優(yōu)雅。這可能是因?yàn)樵?007年推出CUDA時(shí)，是作為C的擴(kuò)展而不是C++，最初的SDK示例大多以冗長的C風(fēng)格編寫。不幸的是，許多在線的CUDA教程和書籍中仍然是這種風(fēng)格。事實(shí)上，CUDA一直支持一些C++，現(xiàn)在CUDA完全支持C++17（盡管有一些限制）。2019年11月，（NVIDIA C Programmers Guide）被更名為（NVIDIA C++ Programmers Guide），盡管指南的內(nèi)容沒有發(fā)生重大變化，但它標(biāo)志著NVIDIA對代碼的態(tài)度改變了，自2020年以來，一些更高級的C++用法開始出現(xiàn)在SDK示例中。
本書的目標(biāo)不是從零開始教授C++，我們假設(shè)你具有一些C++的基本知識。然而附錄I會(huì)討論我們示例中使用的一些C++特性�，F(xiàn)代C++實(shí)際上有點(diǎn)龐大，具有許多支持面向?qū)ο蠛推渌�高級編程風(fēng)格的新特性。在本書中不使用這些特性，因?yàn)槲覀冋J(rèn)為它們不適合實(shí)現(xiàn)在GPU上運(yùn)行的算法代碼，我們還是更喜歡模板函數(shù)而不是虛擬函數(shù)。
要充分利用本書，你需要使用配備支持CUDA的NVIDIA GPU的PC（許多PC都支持）。這些示例是在配備4核Intel CPU和NVIDIA RTX 2070 GPU（2019年價(jià)格為480英鎊）的Windows 10 PC上開發(fā)的。Linux系統(tǒng)也可以，我們所有的示例都可以在不需要修改的情況下運(yùn)行。無論你使用什么系統(tǒng)，都需要一個(gè)當(dāng)前版本的（免費(fèi)）NVIDIA CUDA Toolkit。在Windows上，你還需要Visual Studio C++（免費(fèi)的社區(qū)版也可以）。在Linux上，gcc或g++都可以。
不幸的是，我們