我們生活在一個充滿大氣的地球上,離不開空氣、陽光和水,氣象就是人們每時每刻都看得見、離不開、感受到的大氣自然現(xiàn)象。今天的我們可以用晴天、下雨、刮風(fēng)、電閃、飄雪、結(jié)冰來話說氣象,也可以用客觀的大氣觀測數(shù)據(jù)分分秒秒地記錄著氣象,當(dāng)然我們還有具體的圖像直接、真切地描述著氣象,這些數(shù)據(jù)的最直接作用就是快速傳遞大氣的信息。
有人說,在大數(shù)據(jù)時代這個概念出現(xiàn)前,最名副其實的大數(shù)據(jù)應(yīng)該數(shù)氣象數(shù)據(jù)。但無論氣象數(shù)據(jù)多么復(fù)雜,總體可以分為兩類: 一類數(shù)據(jù)被稱為觀測數(shù)據(jù),一類被稱為預(yù)報數(shù)據(jù)。氣象數(shù)據(jù)在氣象領(lǐng)域存在已有時日,近年來互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展以及大數(shù)據(jù)時代的興起而引發(fā)大家對氣象數(shù)據(jù)的關(guān)注。海量氣象數(shù)據(jù)怎么用?這是大數(shù)據(jù)時代亟待考慮的問題。就現(xiàn)有情況看,數(shù)據(jù)在氣象預(yù)報、氣候預(yù)測診斷方面運用得比較充分,而在氣象服務(wù)領(lǐng)域,大量的實況觀測數(shù)據(jù)和模式預(yù)報數(shù)據(jù)往往被擱置。2015年9月5日,《國務(wù)院關(guān)于印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動綱要的通知》正式發(fā)布,在全社會引起廣泛影響,氣象部門也未能例外。如何看待氣象大數(shù)據(jù),對氣象大數(shù)據(jù)的管理、高可靠存儲、分析、處理以及檢索等技術(shù)進(jìn)行挑戰(zhàn)。如何認(rèn)識大數(shù)據(jù),大數(shù)據(jù)是否適用于氣象部門,以及適用于哪些領(lǐng)域,是氣象部門需要思考的問題。
本書作者從事氣象應(yīng)用業(yè)務(wù)工作多年,近年來圍繞氣象大數(shù)據(jù)的概念、技術(shù)和應(yīng)用,進(jìn)行了深入思考、研究和實踐,對氣象大數(shù)據(jù)的基本概念和資源進(jìn)行了梳理,對氣象大數(shù)據(jù)的采集、存儲、處理和分析應(yīng)用開展了研究和總結(jié),對氣象大數(shù)據(jù)在典型行業(yè)的應(yīng)用做了實踐。本書對這些成果進(jìn)行了全面系統(tǒng)的總結(jié),希望為讀者提供借鑒和參考。
本書由徐繼業(yè)、朱潔華負(fù)責(zé)統(tǒng)稿和定稿工作。具體編寫分工如下: 第1、2章由徐繼業(yè)組織編寫,第3章由徐繼業(yè)、胡平、秦虹、徐明組織編寫,第4、5章由王海彬、劉文杰、鄭玉、瞿治國組織編寫,第6章由鄒蘭軍組織編寫,第7章由朱潔華組織編寫,第8章由李佰平組織編寫,第9章由徐明組織編寫,第10章由徐繼業(yè)、朱潔華組織編寫。
由于作者水平和能力有限,書中的錯誤和缺點在所難免,在此歡迎廣大讀者批評指正。我們在完成本書的編寫過程中,學(xué)習(xí)參考了大量的文獻(xiàn),并盡可能予以標(biāo)注,如有疏忽未標(biāo)注的,敬請諒解。
氣象大數(shù)據(jù)正在記錄著我們地球大氣變化的歷史,也許往前追溯1000年,我們并不十分了解地球大氣發(fā)生了什么,但是現(xiàn)在之后的1000年,我們的后人看我們的今天,可以重現(xiàn)今日的氣象萬千。
作者
第1章氣象的大數(shù)據(jù)時代1
●1.1大數(shù)據(jù)概述2
1.1.1大數(shù)據(jù)的概念2
1.1.2大數(shù)據(jù)的特點2
1.1.3大數(shù)據(jù)的分析理念3
1.1.4大數(shù)據(jù)時代3
●1.2氣象現(xiàn)代化5
1.2.1氣象學(xué)定義5
1.2.2氣象部門的現(xiàn)狀5
1.2.3氣象現(xiàn)代化發(fā)展戰(zhàn)略6
●1.3氣象大數(shù)據(jù)的基本概念7
1.3.1氣象大數(shù)據(jù)的定義7
1.3.2氣象大數(shù)據(jù)的特征8
1.3.3氣象大數(shù)據(jù)的分類9
●1.4大數(shù)據(jù)時代氣象行業(yè)的機遇和挑戰(zhàn)14第2章氣象的數(shù)據(jù)資源17
●2.1綜合氣象觀測系統(tǒng)18
2.1.1綜合氣象觀測網(wǎng)19
2.1.2氣象觀測系統(tǒng)19
2.1.3氣象觀測網(wǎng)20
2.1.4我國的氣象觀測現(xiàn)狀20
2.1.5上海氣象觀測系統(tǒng)22
●2.2數(shù)值天氣預(yù)報系統(tǒng)23
●2.3全國綜合氣象信息共享平臺24
2.3.1基本情況25
2.3.2總體布局25
2.3.3總體結(jié)構(gòu)與流程26
●2.4上海氣象信息平臺28第3章氣象大數(shù)據(jù)技術(shù)33
●3.1云計算34
3.1.1云計算的概念35
3.1.2云計算的歷史和現(xiàn)狀36
3.1.3云計算的實現(xiàn)機制38
3.1.4云計算的發(fā)展趨勢40
3.1.5云計算和氣象行業(yè)43
3.1.6云計算與大數(shù)據(jù)44
3.1.7基于云計算的氣象大數(shù)據(jù)平臺架構(gòu)45
●3.2分布式計算平臺46
3.2.1Hadoop47
3.2.2MapReduce49
3.2.3Hadoop和MapReduce的比較51
●3.3存儲技術(shù)52
3.3.1ETL技術(shù)52
3.3.2NoSQL技術(shù)54
3.3.3分布式文件系統(tǒng)56
3.3.4云存儲59
●3.4感知技術(shù)61
3.4.1數(shù)據(jù)計算63
3.4.2深度學(xué)習(xí)67
3.4.3數(shù)據(jù)挖掘68
3.4.4氣象人工智能72第4章氣象大數(shù)據(jù)安全79
●4.1氣象大數(shù)據(jù)安全現(xiàn)狀80
4.1.1氣象信息安全現(xiàn)狀80
4.1.2大數(shù)據(jù)安全主要問題83
4.1.3大數(shù)據(jù)面臨的挑戰(zhàn)85
4.1.4大數(shù)據(jù)的安全威脅87
4.1.5保障氣象大數(shù)據(jù)安全的措施88
●4.2氣象大數(shù)據(jù)安全體系89
4.2.1安全體系結(jié)構(gòu)90
4.2.2數(shù)據(jù)層技術(shù)92
4.2.3接口層技術(shù)95
4.2.4系統(tǒng)層技術(shù)96
4.2.5基于大數(shù)據(jù)的安全技術(shù)98第5章氣象大數(shù)據(jù)在電力能源領(lǐng)域的應(yīng)用101
●5.1氣象大數(shù)據(jù)在傳統(tǒng)電力負(fù)荷領(lǐng)域的應(yīng)用102
5.1.1電力負(fù)荷特征103
5.1.2電力負(fù)荷與氣象要素的關(guān)系104
5.1.3電力負(fù)荷和高溫案例分析109
●5.2氣象大數(shù)據(jù)在光伏新能源領(lǐng)域的應(yīng)用109
5.2.1氣象大數(shù)據(jù)在太陽能資源評估中的應(yīng)用110
5.2.2氣象大數(shù)據(jù)在太陽能光伏發(fā)電中的應(yīng)用111
5.2.3案例介紹112
●5.3氣象大數(shù)據(jù)在風(fēng)電新能源領(lǐng)域的應(yīng)用112
5.3.1氣象大數(shù)據(jù)在風(fēng)能規(guī)劃和工程中的應(yīng)用113
5.3.2氣象大數(shù)據(jù)在風(fēng)能預(yù)測中的應(yīng)用115
5.3.3氣象大數(shù)據(jù)在海上風(fēng)電場臺風(fēng)影響論證中的應(yīng)用116
5.3.4案例介紹124第6章氣象大數(shù)據(jù)在公路交通中的應(yīng)用125
●6.1公路交通對氣象大數(shù)據(jù)應(yīng)用的需求126
6.1.1我國主要地理特征和氣候概況126
6.1.2氣象對公路交通的影響127
6.1.3用戶對公路交通氣象保障信息的需求127
●6.2公路交通的氣象影響分析128
6.2.1天氣與公路交通事故之間的關(guān)系分析128
6.2.2天氣對公路交通的影響132
6.2.3公路交通高影響天氣的確立133
●6.3公路交通氣象大數(shù)據(jù)應(yīng)用136
6.3.1技術(shù)路線136
6.3.2監(jiān)測系統(tǒng)136
6.3.3公路交通氣象預(yù)報技術(shù)145
6.3.4上海公路交通氣象服務(wù)系統(tǒng)153第7章氣象大數(shù)據(jù)在航空工業(yè)中的應(yīng)用157
●7.1概述158
●7.2氣象大數(shù)據(jù)在民用航空中的應(yīng)用161
7.2.1航空公司161
7.2.2空中交通管制部門163
7.2.3機場164
●7.3氣象大數(shù)據(jù)在民機試飛中的應(yīng)用165
7.3.1民機試飛氣象服務(wù)的要求165
7.3.2氣象大數(shù)據(jù)服務(wù)自然結(jié)冰試飛167
7.3.3氣象大數(shù)據(jù)分析在側(cè)風(fēng)試驗中的應(yīng)用171第8章氣象大數(shù)據(jù)在人體健康和保險領(lǐng)域的應(yīng)用179
●8.1氣象大數(shù)據(jù)在人體健康領(lǐng)域的應(yīng)用180
8.1.1人體舒適度指數(shù)180
8.1.2各種疾病發(fā)病條件等級181
●8.2氣象大數(shù)據(jù)在保險領(lǐng)域的應(yīng)用182
8.2.1天氣指數(shù)保險183
8.2.2巨災(zāi)指數(shù)保險184
8.2.3水災(zāi)風(fēng)險地圖185
8.2.4巨災(zāi)風(fēng)險平臺185第9章氣象大數(shù)據(jù)的發(fā)展趨勢187
●9.1氣象大數(shù)據(jù)的應(yīng)用特點188
●9.2氣象大數(shù)據(jù)的發(fā)展趨勢188
●9.3氣象大數(shù)據(jù)的應(yīng)用展望189附錄191
●附錄1氣象數(shù)據(jù)集核心元數(shù)據(jù)字典192
F1.1元數(shù)據(jù)實體信息192
F1.2數(shù)據(jù)集標(biāo)識信息192
F1.3負(fù)責(zé)方信息193
F1.4數(shù)據(jù)質(zhì)量信息194
F1.5關(guān)鍵詞信息195
F1.6時間標(biāo)識信息195
F1.7地理覆蓋范圍信息195
F1.8垂向覆蓋范圍信息196
F1.9時間覆蓋范圍信息196
F1.10限制信息196
F1.11分發(fā)信息197
●附錄2元數(shù)據(jù)字符代碼表198
F2.1字符集代碼198
F2.2數(shù)據(jù)集分類代碼199
F2.3責(zé)任人職責(zé)代碼200
F2.4關(guān)鍵詞類型代碼200
F2.5時間頻次代碼201
F2.6介質(zhì)代碼201
參考文獻(xiàn)203