《Python高效編程基于Rust語言》詳細闡述了基于Rust語言的Python高效編程,主要包括從Python的角度認識Rust、使用Rust構建代碼、理解并發(fā)性、在Python中構建pip模塊、為pip模塊創(chuàng)建Rust接口、在Rust中使用Python對象、在Rust中使用Python模塊、在Rust中構建端到端Python模塊、構建Python Flask應用程序、將Rust注入Python Flask應用程序、集成Rust的**實踐等內容。此外,本書還提供了相應的示例、代碼,以幫助讀者進一步理解相關方案的實現過程。 本書適合作為高等院校計算機及相關專業(yè)的教材和教學參考書,也可作為相關開發(fā)人員的自學教材和參考手冊。
Rust是一門令人興奮的新語言。它為開發(fā)人員提供了沒有垃圾收集機制的內存安全,從而帶來了快速的運行和低內存占用。但是,用Rust重寫一切可能是昂貴和有風險的,因為Rust中可能沒有對要解決的問題的包支持。這就是Python綁定和pip的用武之地。本書將使開發(fā)人員能夠用Rust編寫可以使用pip安裝的模塊,這樣就能夠在需要的時候注入Rust,而不需要承擔重寫整個系統(tǒng)的風險和工作量。這種方法使開發(fā)人員能夠在Python項目中嘗試和使用Rust。
Rust是一門令人興奮的新語言。它為開發(fā)人員提供了沒有垃圾收集機制的內存安全,從而帶來了快速的運行和低內存占用。但是,用Rust重寫一切可能是昂貴和有風險的,因為Rust中可能沒有對要解決的問題的包支持。這就是Python綁定和pip的用武之地。本書將使開發(fā)人員能夠用Rust編寫可以使用pip安裝的模塊,這樣就能夠在需要的時候注入Rust,而不需要承擔重寫整個系統(tǒng)的風險和工作量。這種方法使開發(fā)人員能夠在Python項目中嘗試和使用Rust。
本書讀者
想用Rust加快代碼運行速度的Python開發(fā)人員,或者想在不承擔太多風險或工作量的情況下嘗試Rust的開發(fā)人員,都會從本書中受益。讀者不需要有Rust的背景。本書介紹了Rust,并使用Python實例讓讀者快速掌握Rust。
內容介紹
本書分為3篇,共11章。具體內容介紹如下。
* 第1篇為了解Rust,包括第1~3章。
> 第1章為從Python的角度認識Rust,介紹了有關Rust的基礎知識,重點闡釋了Python和Rust之間的區(qū)別,以幫助Python開發(fā)人員快速了解 Rust,并給出了相關的Python實例,以幫助開發(fā)人員掌握Rust概念。
> 第2章為使用Rust構建代碼,解釋了如何在多個頁面上構造Rust程序,并使用包管理工具來組織和安裝依賴項。
> 第3章為理解并發(fā)性,介紹了線程和進程的概念,演示了如何在Rust中運行多線程和多進程。該章還介紹了Python中的并發(fā)性,以幫助開發(fā)人員了解其中的差異。
* 第2篇為融合Rust和Python,包括第4~8章。
> 第4章為在Python中構建pip模塊,討論了如何構建可以使用pip安裝的Python包,還演示了如何在GitHub上托管軟件包,以及配置持續(xù)集成等。
> 第5章為為pip模塊創(chuàng)建Rust接口,介紹了如何將Rust代碼注入pip模塊,并使用Rust設置工具來編譯和使用Python中的Rust代碼。
> 第6章為在Rust中使用Python對象,考慮了另一個方向上的兼容,即在Rust中接受和處理Python數據結構并與之交互。該章還討論了如何在Rust中創(chuàng)建自定義Python對象。
> 第7章為在Rust中使用Python模塊,介紹了如何在Rust代碼中使用諸如NumPy之類的Python模塊。
> 第8章為在Rust中構建端到端Python模塊,將所有已經討論的內容打包成一個用Rust編寫的功能齊全的Python包。這個包擁有Python接口和命令行功能,可以接受YAML文件進行配置。
* 第3篇為將Rust注入Web應用程序,包括第9~11章。
> 第9章為構建Python Flask應用程序,構建了一個帶有PostgreSQL數據庫、NGINX負載均衡器和Celery工作進程的Python Flask應用程序,以使Rust技能更加實用。所有項目都被包裹在Docker中,為將Rust注入Web應用程序打下基礎。
> 第10章為將Rust注入Python Flask應用程序,討論了如何利用第9章中構建的Web應用,將Rust模塊注入Celery工作進程和Flask應用程序的Docker容器。該章還印證了已經應用的遷移,以自動生成數據庫的模式,這樣Rust代碼就可以直接與數據庫連接。此外,該章還介紹了如何使用來自私有GitHub存儲庫的Rust包。
> 第11章為集成Rust的最佳實踐,給出了一些提示,說明在為Python編寫Rust代碼時如何避免常見的錯誤。
充分利用本書
建議讀者了解Python并能適應面向對象編程。本書將涉及一些高級主題,如元類,但不是必不可少的。Rust編程、Python Web應用程序和使用pip安裝的Python模塊等都在 本書中有所涉及。
本書涵蓋的軟件和操作系統(tǒng)需求如表P.1所示。
表P.1 本書涵蓋的軟件和操作系統(tǒng)需求
本書涵蓋的軟件 操作系統(tǒng)需求 Python 3 Windows、macOS或Linux Rust Windows、macOS或Linux Docker Windows、macOS或Linux PyO3 Windows、macOS或Linux Redis Windows、macOS或Linux PostgreSQL Windows、macOS或Linux 建議讀者自己輸入代碼或從本書的GitHub存儲庫訪問代碼(下文將提供鏈接) ,以避免與復制和粘貼代碼相關的任何潛在錯誤。
下載示例代碼文件
本書隨附的代碼可以在GitHub存儲庫中找到,其網址如下:
https://github.com/PacktPublishing/Speed-up-your-Python-with-Rust
如果代碼有更新,也將在該GitHub存儲庫中更新。
下載彩色圖像
本書提供了一個PDF文件,其中包含本書中使用的屏幕截圖/圖表的彩色圖像。可通過以下地址下載。
https://static.packt-cdn.com/downloads/9781801811446_ColorImages.pdf
本書約定
本書中使用了許多文本約定。
。1)表示文本中的代碼、數據庫表名、文件夾名、文件名、文件擴展名、路徑名、虛擬URL、用戶輸入和Twitter句柄等的段落示例如下:
2019年,芯片巨頭英偉達(NVIDIA)公司的聯合創(chuàng)始人兼首席執(zhí)行官黃仁勛(Jensen Huang)表示,隨著芯片組件越來越接近單個原子的大小,它變得越來越難以跟上摩爾定律的步伐,因此可以宣布摩爾定律已經死亡。有關詳細信息,可訪問:
https://www.cnet.com/news/
moores-law-is-dead-nvidias-ceo-jensen-huang-says-at-ces-2019/
。2)有關代碼塊的設置如下所示。
use std::error::Error;
use std::fs::File;
use csv;
use super::structs::FootPrint;
。3)任何命令行輸入或輸出都采用如下所示的粗體代碼形式。
pip install git https://github.com/maxwellflitton/flitton-fib-rs@main
。4)術語或重要單詞采用中英文對照形式,在括號內保留其英文原文。示例如下:
當代碼編譯時,它將為棧(stack)中的不同變量分配內存;當代碼運行時,它會將數據存儲在堆(heap)中。
。5)界面詞匯或專有名詞將保留英文原文,在括號內添加其中文翻譯。示例如下:
首先需要將PyPI賬戶的用戶名和密碼存儲在GitHub存儲庫的Secrets(秘密)部分。這可以通過單擊Settings(設置)選項卡,然后選擇左側邊欄上的Secrets(秘密)選項來完成。
。6)本書使用了以下兩個圖標。
表示警告或重要的注意事項。
表示提示或小技巧。
·VIII·
Python高效編程基于Rust語言
·VII·
前 言
麥克斯韋爾·弗立頓是一名軟件工程師,為開源的財務損失建;饡╢inancial loss modeling foundation)OasisLMF工作。2011年,Maxwell取得了英國林肯大學的護理學理學士學位。在醫(yī)院急診科工作12小時的同時,Maxwell還獲得了英國開放大學的物理學學位,然后又邁向了另一個里程碑,獲得了倫敦大學醫(yī)學院的物理學和工程學研究生文憑。他曾參與過許多項目,如為德國政府提供醫(yī)療模擬軟件,并在倫敦帝國學院指導計算醫(yī)學學生。他有在金融科技領域工作的經驗,并曾經為Monolith AI公司服務過。
第1篇 了解Rust
第1章 從Python的角度認識Rust 3
1.1 技術要求 3
1.2 了解Python和Rust之間的區(qū)別 4
1.2.1 結合使用Python與Rust的原因 4
1.2.2 在Rust中傳遞字符串 7
1.2.3 在Rust中調整浮點數和整數的大小 9
1.2.4 在Rust的向量和數組中管理數據 11
1.2.5 用哈希映射取代字典 13
1.2.6 Rust中的錯誤處理 16
1.3 了解變量所有權 19
1.3.1 復制 20
1.3.2 移動 20
1.3.3 不可變借用 21
1.3.4 可變借用 23
1.4 跟蹤作用域和生命周期 23
1.5 構建結構體而不是對象 27
1.6 使用宏而不是裝飾器進行元編程 31
1.7 小結 34
1.8 問題 34
1.9 答案 35
1.10 延伸閱讀 35
第2章 使用Rust構建代碼 37
2.1 技術要求 37
2.2 用crate和Cargo代替pip管理代碼 38
2.3 在多個文件和模塊上構建代碼 45
2.4 構建模塊接口 49
2.4.1 開發(fā)一個簡單的股票交易程序 51
2.4.2 寫代碼時編寫文檔的好處 57
2.5 與環(huán)境交互 58
2.6 小結 60
2.7 問題 61
2.8 答案 61
2.9 延伸閱讀 62
第3章 理解并發(fā)性 63
3.1 技術要求 63
3.2 并發(fā)性介紹 63
3.2.1 線程 64
3.2.2 進程 65
3.3 使用線程的基本異步編程 67
3.3.1 在Python中使用線程 68
3.3.2 在Rust中使用線程 69
3.4 運行多個進程 74
3.4.1 在Python中使用多進程池 74
3.4.2 在Rust中使用多線程池 78
3.4.3 在Rust中使用多進程池 81
3.5 安全地自定義線程和進程 85
3.5.1 阿姆達爾定律 85
3.5.2 死鎖 86
3.5.3 競爭條件 88
3.6 小結 88
3.7 問題 89
3.8 答案 89
3.9 延伸閱讀 90
第2篇 融合Rust和Python
第4章 在Python中構建pip模塊 95
4.1 技術要求 95
4.2 為Python pip模塊配置設置工具 96
4.2.1 創(chuàng)建GitHub存儲庫 96
4.2.2 定義基本參數 99
4.2.3 定義自述文件 100
4.2.4 定義基本模塊 101
4.3 在pip模塊中打包Python代碼 102
4.3.1 構建斐波那契計算代碼 103
4.3.2 創(chuàng)建命令行接口 105
4.3.3 構建單元測試 107
4.4 配置持續(xù)集成 113
4.4.1 手動部署到PyPI 113
4.4.2 管理依賴項 115
4.4.3 為Python設置類型檢查 116
4.4.4 使用GitHub Actions設置和運行測試及類型檢查 117
4.4.5 為pip包創(chuàng)建自動版本控制 121
4.4.6 使用GitHub Actions部署到PyPI 124
4.5 小結 126
4.6 問題 127
4.7 答案 128
4.8 延伸閱讀 128
第5章 為pip模塊創(chuàng)建Rust接口 129
5.1 技術要求 129
5.2 使用pip打包Rust代碼 130
5.2.1 定義gitignore和Cargo 130
5.2.2 配置Python設置過程 132
5.2.3 安裝Rust庫 134
5.3 使用PyO3 crate構建Rust接口 135
5.3.1 構建計算斐波那契數列的Rust代碼 136
5.3.2 創(chuàng)建命令行工具 138
5.3.3 創(chuàng)建適配器 140
5.3.4 使用單例設計模式構建適配器接口 142
5.3.5 在Python控制臺中測試適配器接口 146
5.4 為Rust包構建測試 148
5.5 比較Python、Rust和Numba的速度 151
5.6 小結 153
5.7 問題 154
5.8 答案 154
5.9 延伸閱讀 155
第6章 在Rust中使用Python對象 157
6.1 技術要求 157
6.2 將復雜的Python對象傳遞到Rust中 157
6.2.1 更新setup.py文件以支持.yml加載 158
6.2.2 定義.yml加載命令 159
6.2.3 處理來自Python字典的數據 160
6.2.4 從配置文件中提取數據 164
6.2.5 將Python字典返回到Python系統(tǒng) 165
6.3 檢查和使用自定義Python對象 167
6.3.1 為Rust接口創(chuàng)建一個對象 167
6.3.2 在Rust中獲取Python GIL 168
6.3.3 向新創(chuàng)建的PyDict結構體添加數據 170
6.3.4 設置自定義對象的特性 172
6.4 在Rust中構建自定義Python對象 173
6.4.1 定義具有所需特性的Python類 174
6.4.2 定義類靜態(tài)方法處理輸入 174
6.4.3 定義類構造函數 175
6.4.4 包裝并測試模塊 176
6.5 小結 179
6.6 問題 180
6.7 答案 180
6.8 延伸閱讀 181
第7章 在Rust中使用Python模塊 183
7.1 技術要求 183
7.2 認識NumPy 183
7.2.1 在NumPy中執(zhí)行向量相加操作 184
7.2.2 在純Python中執(zhí)行向量相加操作 185
7.2.3 在Rust中使用NumPy執(zhí)行向量相加操作 186
7.3 在NumPy中構建模型 190
7.3.1 定義模型 190
7.3.2 構建一個執(zhí)行模型的Python對象 192
7.4 在Rust中使用NumPy和其他Python模塊 195
7.5 在Rust中重建NumPy模型 198
7.5.1 構建get_weight_matrix和invert_get_weight_matrix函數 200
7.5.2 構建get_parameters、get_times和get_input_vector函數 201
7.5.3 構建calculate_parameters和calculate_times函數 202
7.5.4 將計算函數添加到Python綁定 203
7.5.5 將NumPy依賴項添加到setup.py文件 204
7.5.6 構建Python接口 204
7.6 小結 205
7.7 問題 206
7.8 答案 206
7.9 延伸閱讀 207
第8章 在Rust中構建端到端Python模塊 209
8.1 技術要求 209
8.2 分解一個災難建模問題 209
8.3 將端到端解決方案構建為一個包 214
8.3.1 構建災難足跡合并流程 215
8.3.2 構建災難脆弱性合并流程 217
8.3.3 在Rust中構建Python接口 221
8.3.4 在Python中構建接口 223
8.3.5 構建包安裝說明 223
8.4 使用和測試包 225
8.4.1 使用Pandas構建Python構造模型 226
8.4.2 構建隨機事件ID生成器函數 227
8.4.3 為Python和Rust實現計時 228
8.5 小結 230
8.6 延伸閱讀 230
第3篇 將Rust注入Web應用程序
第9章 構建Python Flask應用程序 233
9.1 技術要求 233
9.2 構建一個基本的Flask應用程序 234
9.2.1 為應用程序構建一個入口點 235
9.2.2 構建斐波那契數計算模塊 235
9.2.3 為應用程序構建Docker鏡像 237
9.2.4 構建NGINX服務 239
9.2.5 連接并運行NGINX服務 241
9.3 定義數據訪問層 243
9.3.1 在docker-compose中定義PostgreSQL數據庫 244
9.3.2 構建配置加載系統(tǒng) 245
9.3.3 構建數據訪問層 247
9.3.4 搭建應用程序數據庫遷移系統(tǒng) 249
9.3.5 建立數據庫模型 252
9.3.6 將數據庫訪問層應用于fib計算視圖 253
9.4 構建消息總線 255
9.4.1 為Flask構建一個Celery代理 256
9.4.2 為Celery構建一個斐波那契計算任務 258
9.4.3 用Celery更新計算視圖 258
9.4.4 在Docker中定義Celery服務 259
9.5 小結 262
9.6 問題 263
9.7 答案 263
9.8 延伸閱讀 264
第10章 將Rust注入Python Flask應用程序 265
10.1 技術要求 265
10.2 將Rust融合到Flask和Celery中 266
10.2.1 定義對Rust斐波那契數計算包的依賴 266
10.2.2 用Rust構建計算模型 266
10.2.3 使用Rust創(chuàng)建計算視圖 269
10.2.4 將Rust插入Celery任務中 270
10.3 使用Rust部署Flask和Celery 271
10.4 使用私有GitHub存儲庫進行部署 273
10.4.1 構建一個協調整個過程的Bash腳本 275
10.4.2 在Dockerfile中重新配置Rust斐波那契數列計算包的安裝 275
10.5 將Rust與數據訪問相結合 277
10.5.1 設置數據庫克隆包 277
10.5.2 設置diesel環(huán)境 279
10.5.3 自動生成和配置數據庫模型和模式 280
10.5.4 在Rust中定義數據庫連接 282
10.5.5 創(chuàng)建一個獲取并返回所有斐波那契記錄的Rust函數 282
10.6 在Flask中部署Rust nightly包 285
10.7 小結 286
10.8 問題 286
10.9 答案 287
10.10 延伸閱讀 287
第11章 集成Rust的最佳實踐 289
11.1 技術要求 289
11.2 通過將數據傳入和傳出Rust來保持Rust實現的簡單性 290
11.2.1 構建一個Python腳本來制定用于計算的數字的格式 290
11.2.2 構建一個接受數字進行計算并返回結果的Rust文件 291
11.2.3 構建一個接受計算出的數字并將其打印出來的Python腳本 292
11.3 通過對象給接口一種原生的感覺 294
11.4 使用trait而不是對象 298
11.4.1 定義trait 300
11.4.2 通過trait定義結構體的行為 301
11.4.3 通過函數傳遞trait 303
11.4.4 存儲具有共同trait的結構體 305
11.4.5 在main.rs文件中運行程序 305
11.5 通過Rayon保持數據并行的簡單性 308
11.6 小結 310
11.7 延伸閱讀 310
·XIV·
Python高效編程基于Rust語言
·XV·
目 錄