2018年度的ACM（美國計(jì)算機(jī)協(xié)會(huì)）圖靈獎(jiǎng)授予深度學(xué)習(xí)領(lǐng)域三巨頭（Yoshua Bengio、Yann LeCun、Geoffrey Hinton），這是學(xué)術(shù)界與工業(yè)界對(duì)深度學(xué)習(xí)的認(rèn)可。深度學(xué)習(xí)具有強(qiáng)大的學(xué)習(xí)能力，為人工智能技術(shù)插上了翅膀。各國相繼把發(fā)展人工智能確立為國家戰(zhàn)略。我國國務(wù)院于2017年7月8日重磅發(fā)布《新一代人工智能發(fā)展規(guī)劃》，人工智能課程已經(jīng)相繼走入中小學(xué)課堂。人工智能將是未來全面支撐科技、經(jīng)濟(jì)、社會(huì)發(fā)展和信息安全的重要支柱！深度學(xué)習(xí)已經(jīng)在許多領(lǐng)域影響深遠(yuǎn)，但它對(duì)算力的要求極高。華為公司應(yīng)時(shí)而動(dòng)，打造出基于達(dá)芬奇架構(gòu)的昇騰AI系列處理器，并進(jìn)一步為全場景應(yīng)用提供統(tǒng)一、協(xié)同的硬件和軟件架構(gòu)。其中有面向云端提供強(qiáng)大訓(xùn)練算力的硬件產(chǎn)品（如昇騰910處理器），也有面向邊緣端和移動(dòng)端提供推理加速算力的硬件產(chǎn)品（如昇騰310處理器）。與硬件同樣重要的是昇騰AI處理器的軟件生態(tài)建設(shè)。友好、豐富的軟件生態(tài)會(huì)真正釋放昇騰AI處理器的能量，走入千家萬戶，助力我國的新一代人工智能發(fā)展。

全書共分七篇計(jì)20章，重點(diǎn)剖析若干重要領(lǐng)域的典型案例，內(nèi)容涵蓋目標(biāo)檢測(cè)、圖像分割、圖像生成、圖像增強(qiáng)、模式分類、智能機(jī)器人以及序列模式分析等領(lǐng)域，涉及各種典型的深度學(xué)習(xí)網(wǎng)絡(luò)模型。

篇目標(biāo)檢測(cè)，包含三個(gè)案例，分別涉及手寫漢字拍照檢測(cè)與識(shí)別、人類蛋白質(zhì)圖譜分類和遙感圖像目標(biāo)檢測(cè)，提供了基于聯(lián)通成分分析搭配ResNet、選擇性搜索算法搭配 ResNet和YOLOv3等方法的應(yīng)用。

第二篇圖像分割，分別涉及人像的語義分割、人像分割與背景替換（摳圖）、眼底視網(wǎng)膜血管圖像的分割和邊緣檢測(cè)四個(gè)不同領(lǐng)域的任務(wù)，展示了如何利用DeepLab V3 、U形語義分割網(wǎng)絡(luò)、全卷積網(wǎng)絡(luò)以及更豐富卷積特征（RCF）網(wǎng)絡(luò)模型進(jìn)行特定分割任務(wù)。

第三篇圖像生成，包含兩個(gè)案例，分別涉及AR（增強(qiáng)現(xiàn)實(shí)）陰影以及卡通圖像生成，集中展示了如何使用對(duì)抗生成網(wǎng)絡(luò)（GAN）生成逼真圖像。

第四篇圖像增強(qiáng)，包含四個(gè)案例，涵蓋圖像去霧、去雨、HDR（高動(dòng)態(tài)范圍渲染）和圖像的超分辨率四個(gè)基本問題，分別從對(duì)抗生成網(wǎng)絡(luò)、漸進(jìn)式引導(dǎo)圖像去雨網(wǎng)絡(luò)（PGDN）、多尺度網(wǎng)絡(luò)、超分辨率網(wǎng)絡(luò)（SRCNN、FSRCNN和ESPC）設(shè)計(jì)算法，擴(kuò)寬了原有處理思路。

第五篇模式分類，包含三個(gè)案例，介紹來自人體動(dòng)作識(shí)別、人臉識(shí)別和手勢(shì)識(shí)別的實(shí)踐。這些與人類本身具有的能力相關(guān)，常常是我們特別期望賦予計(jì)算機(jī)的。本篇提供了基于圖卷積網(wǎng)絡(luò)（GCN）、樸素卷積網(wǎng)絡(luò)和三維卷積網(wǎng)絡(luò)等經(jīng)典模型的分類應(yīng)用。

第六篇機(jī)器人，給出機(jī)器人領(lǐng)域的一個(gè)案例，讓智能小車自動(dòng)感知環(huán)境并自動(dòng)規(guī)劃路線，基于ROS框架，綜合利用了雷達(dá)傳感信號(hào)感知、基于DenseNet的深度圖預(yù)測(cè)、SLAM和PID控制等技術(shù)。

第七篇序列分析，集中介紹了序列分析領(lǐng)域的三個(gè)典型案例，包含中文語音識(shí)別、手寫文本行識(shí)別以及意見挖掘與情感分析，給出了如何綜合利用VGGNet網(wǎng)絡(luò)、LSTM網(wǎng)絡(luò)、注意力網(wǎng)絡(luò)、BERT網(wǎng)絡(luò)、CTC算法來解決序列分析問題。

本書的案例素材征集自國內(nèi)20位知名教授，包括清華大學(xué)胡事民、劉永進(jìn)、張松海，南開大學(xué)程明明、李濤，浙江大學(xué)許威威、朱秋國，上海交通大學(xué)楊旸、陳立，武漢大學(xué)肖春霞，華中科技大學(xué)顏露新，吉林大學(xué)徐昊，華東師范大學(xué)張新宇，西安電子科技大學(xué)苗啟廣、侯彪，哈爾濱工業(yè)大學(xué)張盛平、蘇統(tǒng)華，深圳大學(xué)邱國平，蘇州大學(xué)張民、付國宏。

蘇統(tǒng)華和杜鵬對(duì)全書進(jìn)行統(tǒng)稿。

在本書的編寫過程中得到清華大學(xué)出版社盛東亮主任及鐘志芳編輯的專業(yè)指導(dǎo)，他們的編輯和審校工作明顯提高了本書的質(zhì)量，特別向他們致以敬意。

在本書統(tǒng)稿過程中，劉姝辰、張明月和文薈儼等人做了大量輔助工作，特此感謝！在本書的編寫過程中同時(shí)受到多個(gè)基金（新一代人工智能重大項(xiàng)目2020AAA0108003、重點(diǎn)研發(fā)計(jì)劃課題2017YFB1400604、國家自然科學(xué)基金項(xiàng)目61673140和81671771）的資助。

蘇統(tǒng)華杜鵬2021年6月第3章遙感圖像目標(biāo)檢測(cè)3.1案例簡介隨著遙感衛(wèi)星成像技術(shù)的發(fā)展，遙感衛(wèi)星的成像分辨率得到了大幅度的提高，大量遙感衛(wèi)星的成功發(fā)射，產(chǎn)生了海量的遙感數(shù)據(jù)，這些數(shù)據(jù)很難依靠人工去判讀。遙感圖像目標(biāo)檢測(cè)，是為了在難以判讀的海量遙感圖像中找到目標(biāo)的位置。

遙感圖像目標(biāo)檢測(cè)的主要過程包括： 對(duì)輸入的目標(biāo)（這里是飛機(jī)）圖像進(jìn)行數(shù)據(jù)預(yù)處理以及特征提取，然后通過目標(biāo)檢測(cè)模型對(duì)目標(biāo)對(duì)象的特征進(jìn)行推理，后對(duì)推理結(jié)果進(jìn)行解析并標(biāo)記輸出，其流程如圖3��1所示。

圖3��1遙感圖像目標(biāo)檢測(cè)過程本章主要介紹基于華為Atlas開發(fā)者套件構(gòu)建的遙感圖像系統(tǒng)。借助Atlas開發(fā)者套件提供的AscendCL API接口完成案例的設(shè)計(jì)與實(shí)現(xiàn)。本案例涉及Darknet模型向Caffe模型的轉(zhuǎn)換，開發(fā)板OpenCV、ffmpeg等科學(xué)計(jì)算依賴庫的安裝，根據(jù)YOLOv3構(gòu)建目標(biāo)檢測(cè)模型等過程。本案例主要為讀者提供一個(gè)遙感圖像目標(biāo)檢測(cè)相關(guān)應(yīng)用在華為Atlas開發(fā)者套件上部署的參考。

3.2系統(tǒng)總體設(shè)計(jì)系統(tǒng)首先構(gòu)建Caffe框架的目標(biāo)檢測(cè)模型并訓(xùn)練，之后利用模型轉(zhuǎn)換工具將Caffe模型轉(zhuǎn)換為om模型，接下來通過om模型對(duì)輸入張量進(jìn)行推理，對(duì)推理結(jié)果進(jìn)行處理，終輸出目標(biāo)檢測(cè)結(jié)果以及目標(biāo)檢測(cè)的終圖像。

3.2.1功能結(jié)構(gòu)遙感圖像目標(biāo)檢測(cè)系統(tǒng)可分為遙感圖片預(yù)處理、模型推理和目標(biāo)檢測(cè)結(jié)果輸出這幾部分。系統(tǒng)的整體結(jié)構(gòu)如圖3��2所示。

圖3��2系統(tǒng)整體結(jié)構(gòu)3.2.2系統(tǒng)設(shè)計(jì)流程該系統(tǒng)設(shè)計(jì)流程可分為模型訓(xùn)練階段和模型推理階段，如圖3��3所示。前者主要在服務(wù)器端完成構(gòu)建，后者主要在華為Atlas開發(fā)者套件上完成構(gòu)建。

模型訓(xùn)練階段首先構(gòu)建目標(biāo)檢測(cè)模型，本案例中的目標(biāo)檢測(cè)模型采用深度學(xué)習(xí)框架Darknet中的神經(jīng)網(wǎng)絡(luò)Darknet53進(jìn)行模型訓(xùn)練，然后將Darknet53訓(xùn)練所得的模型轉(zhuǎn)換為Caffe模型，以此來滿足MindStudio平臺(tái)模型轉(zhuǎn)換要求，后對(duì)轉(zhuǎn)換后的Caffe格式模型進(jìn)行驗(yàn)證和評(píng)估。

模型推理階段首先對(duì)輸入圖片進(jìn)行圖片預(yù)處理以及特征提取，并將結(jié)果作為目標(biāo)檢測(cè)模型的輸入張量，利用華為MindStudio平臺(tái)將Caffe格式的目標(biāo)檢測(cè)模型轉(zhuǎn)換為華為Atlas開發(fā)者套件支持的om格式模型，接下來通過目標(biāo)檢測(cè)模型對(duì)輸入張量進(jìn)行推理，對(duì)推理結(jié)果進(jìn)行處理，終輸出目標(biāo)檢測(cè)結(jié)果以及目標(biāo)檢測(cè)的終圖像。

圖3��3系統(tǒng)流程3.3系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)本節(jié)將詳細(xì)介紹系統(tǒng)各部分功能的設(shè)計(jì)與實(shí)現(xiàn)過程，該系統(tǒng)利用華為Atlas開發(fā)者套件提供的AscendCL API接口［2］實(shí)現(xiàn)系統(tǒng)搭建。

3.3.1目標(biāo)檢測(cè)模型定義該系統(tǒng)的檢測(cè)模型基于Caffe框架構(gòu)建YOLOv3神經(jīng)網(wǎng)絡(luò)模型。在基本的圖像特征提取方面，YOLOv3采用Darknet53網(wǎng)絡(luò)(含有53個(gè)卷積層)作為骨干網(wǎng)絡(luò)。Darknet本身是專門為YOLOv3開發(fā)的網(wǎng)絡(luò)結(jié)構(gòu)，借鑒了殘差網(wǎng)絡(luò)(Residual Network)的做法，在一些層之間設(shè)置了捷徑連接(Shortcut Connections)，且不采用池化(maxpool)，而是通過步長(Stride)為2的卷積層實(shí)現(xiàn)特征圖的尺寸變換。YOLOv3神經(jīng)網(wǎng)絡(luò)模型會(huì)在Darknet53骨干網(wǎng)絡(luò)的基礎(chǔ)上添加檢測(cè)相關(guān)的網(wǎng)絡(luò)模塊。

3.3.2目標(biāo)檢測(cè)模型訓(xùn)練此目標(biāo)檢測(cè)訓(xùn)練模型參考YOLOv3的模型訓(xùn)練方法進(jìn)行訓(xùn)練，后獲得YOLOv3的模型文件。本次采用的模型訓(xùn)練數(shù)據(jù)從RSOD�睤ataset、NWPU VHR��10數(shù)據(jù)集中分別選取446張大小為1044915的遙感圖像和80張大小約為958808的遙感圖像； 通過旋轉(zhuǎn)，mixup（一種線性插值的數(shù)據(jù)增強(qiáng)方法）等方式對(duì)數(shù)據(jù)集擴(kuò)增，提升模型泛化能力。

將所有數(shù)據(jù)的80%作為訓(xùn)練樣本，剩余的20%作為測(cè)試樣本。

模型訓(xùn)練代碼請(qǐng)參見程序清單3��1的具體參數(shù)定義。

程序清單3��1yolov3.cfg文件的部分參數(shù)定義batch=64#僅表示網(wǎng)絡(luò)積累多少個(gè)樣本后進(jìn)行一次反向傳播（BP）subdivisions=16#表示將一批（batch）圖片分16次完成網(wǎng)絡(luò)的前向傳播width=416#網(wǎng)絡(luò)輸入的寬height=416#網(wǎng)絡(luò)輸入的高channels=3#網(wǎng)絡(luò)輸入的通道數(shù)momentum=0.9#動(dòng)量DeepLearning1中化方法中的動(dòng)量參數(shù)，這個(gè)值影響梯度#下降到值的速度decay=0.0005#權(quán)重衰減正則項(xiàng)，防止過擬合angle=5#數(shù)據(jù)增強(qiáng)參數(shù)，通過旋轉(zhuǎn)角度來生成更多訓(xùn)練樣本saturation = 1.5 #數(shù)據(jù)增強(qiáng)參數(shù)，通過調(diào)整飽和度來生成更多訓(xùn)練樣本exposure = 1.5 #數(shù)據(jù)增強(qiáng)參數(shù)，通過調(diào)整曝光量來生成更多訓(xùn)練樣本hue=.1 #數(shù)據(jù)增強(qiáng)參數(shù)，通過調(diào)整色調(diào)來生成更多訓(xùn)練樣本learning_rate=0.001 #學(xué)習(xí)率 burn_in=1000 #迭代次數(shù)大于1000時(shí)，才采用policy變量定義的更新方式max_batches = 2000 #訓(xùn)練次數(shù)達(dá)到批（max_batches）后停止學(xué)習(xí)，一次為跑完一個(gè)批policy=steps #學(xué)習(xí)率調(diào)整的策略steps=1600,1800scales=.1,.1#變量steps和scale是設(shè)置學(xué)習(xí)率的變化，比如迭代到1600次時(shí)，#學(xué)習(xí)率衰減為1/10，迭代到1800次時(shí)，學(xué)習(xí)率又會(huì)在前一個(gè)學(xué)習(xí)#率的基礎(chǔ)上衰減1/10利用YOLO官網(wǎng)的原始YOLOv3網(wǎng)絡(luò)模型，配合自己的數(shù)據(jù)集，根據(jù)實(shí)際情況通過修改部分參數(shù)進(jìn)行訓(xùn)練，經(jīng)過多次迭代實(shí)現(xiàn)模型的訓(xùn)練。

3.3.3模型轉(zhuǎn)換該系統(tǒng)中原始的目標(biāo)檢測(cè)模型為使用Darknet53網(wǎng)絡(luò)訓(xùn)練的模型，其網(wǎng)絡(luò)模型文件為cfg文件及權(quán)重(weights)文件，這需要進(jìn)行模型轉(zhuǎn)換。華為MindStudio平臺(tái)模型轉(zhuǎn)換工具目前只支持Caffe和TensorFlow的pb格式模型的轉(zhuǎn)換，所以首先需要將Darknet格式的模型轉(zhuǎn)換為Caffe格式的模型。此處使用了由ChenYingpeng (https://github.com/ChenYingpeng/caffe�瞴olov3)提供的darknet2caffe轉(zhuǎn)換工具，具體的轉(zhuǎn)化操作可參考網(wǎng)址： https://blog.csdn.net/avideointerfaces/article/details/89111955。

模型轉(zhuǎn)換成功后獲得Caffe格式的模型文件。om格式文件的轉(zhuǎn)換方式有兩種： 一是通過MindStudio平臺(tái)進(jìn)行轉(zhuǎn)換，二是通過命令行命令進(jìn)行轉(zhuǎn)換。此處采用的方法是使用命令行命令進(jìn)行轉(zhuǎn)換。具體的轉(zhuǎn)換操作如下所述。

首先將yolov3.caffemodel、yolov3.prototxt、aipp_nv12.cfg三個(gè)文件放入同一文件夾下，例如yolov3文件夾，此處aipp_nv12.cfg已在代碼文檔中提供，C7x對(duì).prototxt文件有修改要求，可根據(jù)個(gè)人需要按照https://support.huaweicloud.com/ti�瞐tc�睞200dk_3000/altasatc_16_024.html網(wǎng)址中的文檔介紹對(duì)其進(jìn)行修改。接著進(jìn)入yolov3文件夾，進(jìn)行環(huán)境變量設(shè)置，具體代碼如下： cd $HOME/yolov3export install_path=$HOME/Ascend/ascend-toolkit/20.0.RC1/x86_64-linux_gcc7.3.0export PATH=/usr/local/python3.7.5/bin:${install_path}/atc/ccec_compiler/bin:${install_path}/atc/bin:$PATHexport PYTHONPATH=${install_path}/atc/python/site-packages/te:${install_path}/atc/python/site-packages/topi:$PYTHONPATHexport LD_LIBRARY_PATH=${install_path}/atc/lib64:$LD_LIBRARY_PATHexport ASCEND_OPP_PATH=${install_path}/opp執(zhí)行以下命令轉(zhuǎn)換模型：atc --model=yolov3.prototxt --weight=yolov3.caffemodel --framework=0 --output=yolov3 --soc_version=Ascend310 --insert_op_conf=aipp_nv12.cfg完成此項(xiàng)操作后即可得到對(duì)應(yīng)的om模型。

3.3.4模型推理系統(tǒng)模型推理階段在華為Atlas開發(fā)者套件上實(shí)現(xiàn)。需要安裝ffmpeg和OpenCV的原因是適配多樣性的數(shù)據(jù)預(yù)處理和后處理。本案例也是基于ffmpeg和OpenCV做的處理，此處依賴庫的安裝十分重要，將會(huì)影響后面絕大部分代碼的運(yùn)行。

系統(tǒng)推理部分利用華為Atlas開發(fā)者套件提供的pyACL API和數(shù)字視覺預(yù)處理（Digital Vision Pre�睵rocessing，DVPP）模塊中的相關(guān)功能。模型推理部分主要包括以下子模塊。

(1) 圖像讀取函數(shù)（acl_image類中相關(guān)函數(shù)）： 負(fù)責(zé)讀取文件夾下的所有遙感圖片，并對(duì)圖片信息進(jìn)行獲取。

(2) 預(yù)處理函數(shù)（ObjectDetect類中的Preprocess函數(shù)）： 該函數(shù)完成的功能是對(duì)讀取的遙感圖片進(jìn)行預(yù)處理，首先將圖片從JPEG格式轉(zhuǎn)換為YUV格式，然后對(duì)該轉(zhuǎn)換后的YUV格式的圖片進(jìn)行縮放。

(3) 推理處理函數(shù)（ObjectDetect類中的Inference相關(guān)函數(shù)）： 該函數(shù)完成的功能是將圖片信息送入模型進(jìn)行模型推理，其中主要使用pyACL API中的模型推理API。

(4) 后處理函數(shù)（ObjectDetect類中的Postprocess函數(shù)）： 處理推理結(jié)果，對(duì)輸入圖片的推理結(jié)果進(jìn)行獲取，解析推理結(jié)果，對(duì)其進(jìn)行處理，然后輸出檢測(cè)結(jié)果，并將目標(biāo)檢測(cè)結(jié)果在原始圖片中進(jìn)行標(biāo)記，作為檢測(cè)結(jié)果進(jìn)行輸出，同時(shí)將檢測(cè)結(jié)果信息存儲(chǔ)為json文件。

特別地，針對(duì)寬和高均大于1000像素的圖像，先裁剪（crop）后再對(duì)分塊圖像單獨(dú)推理，后將推理結(jié)果拼接起來。

3.3.5系統(tǒng)運(yùn)行界面設(shè)計(jì)系統(tǒng)運(yùn)行界面在用戶主機(jī)上運(yùn)行。該系統(tǒng)運(yùn)行界面依托圖PyQt5進(jìn)行簡易的窗口設(shè)計(jì)，在主機(jī)上運(yùn)行后，即可通過相關(guān)接口，完成對(duì)遙感圖片中目標(biāo)檢測(cè)（飛機(jī)）以及檢測(cè)結(jié)果的查看。通過該界面，用戶無須其他操作，即可上傳待檢測(cè)圖片至開發(fā)板端，并對(duì)該圖像的檢測(cè)結(jié)果進(jìn)行查看。

3.4系統(tǒng)部署與運(yùn)行結(jié)果該案例系統(tǒng)運(yùn)行在華為Atlas開發(fā)者套件上。系統(tǒng)基于pyACL API接口實(shí)現(xiàn)遙感圖像飛機(jī)目標(biāo)檢測(cè)功能，Python程序負(fù)責(zé)完成圖片的預(yù)處理和模型推理、圖片裁剪與拼接、圖片檢測(cè)結(jié)果輸出。

在運(yùn)行前，將工程文件上傳至開發(fā)者套件，將待檢測(cè)圖片放入data文件夾。之后在主機(jī)端的AtlasUI文件夾下運(yùn)行uiHuawei.py，打開系統(tǒng)運(yùn)行界面，如圖3��4所示。

圖3��4遙感圖像飛機(jī)檢測(cè)系統(tǒng)運(yùn)行界面該界面上有4個(gè)按鈕，實(shí)現(xiàn)不同功能。單擊選擇圖片按鈕，即可加載用戶所要檢測(cè)的遙感圖像，此處為選擇圖片的示意圖，如圖3��5所示。單擊顯示原圖即可查看該圖片原圖。單擊飛機(jī)檢測(cè)按鈕后，開始對(duì)選中的圖片進(jìn)行目標(biāo)檢測(cè)，同時(shí)檢測(cè)結(jié)果的示意圖也會(huì)展示在上方，如圖3��6所示。在實(shí)際的檢測(cè)中，較大圖片檢測(cè)結(jié)果可能在圖片顯示區(qū)進(jìn)行展示時(shí)不是很清晰，因此可單擊顯示檢測(cè)結(jié)果按鈕可查看后的檢測(cè)結(jié)果原圖。

圖3��5選中圖片圖3��6完成該圖片的目標(biāo)檢測(cè)3.5本章小結(jié)本章提供了一個(gè)基于華為Atlas開發(fā)者套件的遙感圖像目標(biāo)（飛機(jī)）的檢測(cè)案例，本案例基于華為Atlas開發(fā)者套件提供的pyACL API接口，通過對(duì)目標(biāo)圖片進(jìn)行預(yù)處理、特征提取及模型推理，終實(shí)現(xiàn)了遙感圖像目標(biāo)檢測(cè)的功能。

本章提供了從目標(biāo)檢測(cè)模型的構(gòu)建，原始Darknet模型向Caffe模型的轉(zhuǎn)換，以及相關(guān)環(huán)境配置到終實(shí)現(xiàn)遙感圖像目標(biāo)檢測(cè)全過程講解，希望為讀者提供一個(gè)基于華為Atlas開發(fā)者套件的遙感圖像目標(biāo)檢測(cè)應(yīng)用的參考，以及一些基礎(chǔ)技術(shù)的支持。