基于R語(yǔ)言的小波方法在大數(shù)據(jù)統(tǒng)計(jì)中的應(yīng)用
定 價(jià):45 元
- 作者:楊炯
- 出版時(shí)間:2020/10/1
- ISBN:9787560657622
- 出 版 社:西安電子科技大學(xué)出版社
- 中圖法分類(lèi):C819
- 頁(yè)碼:232
- 紙張:膠版紙
- 版次:1
- 開(kāi)本:小16開(kāi)
本書(shū)較全面地介紹了小波方法在統(tǒng)計(jì)學(xué)中的應(yīng)用以及R語(yǔ)言的實(shí)現(xiàn)過(guò)程。 書(shū)中首先介紹了小波理論,詳細(xì)討論了小波的重要特性,為小波方法在統(tǒng)計(jì)學(xué)中的應(yīng)用奠定理論基礎(chǔ)。然后以統(tǒng)計(jì)學(xué)的知識(shí)內(nèi)容為背景,具體說(shuō)明了小波在統(tǒng)計(jì)學(xué)中的應(yīng)用方法:一是介紹了具有高斯噪聲的等間隔數(shù)據(jù)在非參數(shù)回歸問(wèn)題中使用小波估計(jì)的多種方法;二是討論了互相關(guān)聯(lián)的非高斯數(shù)據(jù)問(wèn)題,討論了如何用小波進(jìn)行置信區(qū)間估計(jì)、密度估計(jì)、生存和危險(xiǎn)率估計(jì)等,以及相應(yīng)逆問(wèn)題的解決方案和函數(shù)稀疏性問(wèn)題;三是分析了小波方法用于平穩(wěn)和非平穩(wěn)時(shí)間序列的問(wèn)題;四是討論了如何用小波的有效方差穩(wěn)定性來(lái)估計(jì)非高斯數(shù)據(jù)的均值問(wèn)題。
本書(shū)適合作為高等學(xué)校相關(guān)專業(yè)的教材,也可供相關(guān)領(lǐng)域的科研人員參考。
當(dāng)有人問(wèn)周恩來(lái)總理對(duì)法國(guó)大革命(1789—1799)的看法時(shí),他回答說(shuō):“現(xiàn)在來(lái)說(shuō)這件事還為時(shí)過(guò)早”(Rosenberg,1999)。我相信,對(duì)于小波來(lái)說(shuō)也是如此。雖然在很多年前人們就提出了一些特定的小波,但是直到20世紀(jì)80年代才出現(xiàn)了構(gòu)成“小波理論”的大量研究文獻(xiàn)。小波理論在20世紀(jì)80年代末90年代初被引入到統(tǒng)計(jì)學(xué),最初在曲線估計(jì)這類(lèi)研究文獻(xiàn)中得到廣泛應(yīng)用,并由此發(fā)展開(kāi)來(lái),且以多種方式擴(kuò)展到統(tǒng)計(jì)學(xué)中的更多領(lǐng)域,例如生存分析、統(tǒng)計(jì)時(shí)間序列分析、統(tǒng)計(jì)圖像處理、逆問(wèn)題分析以及方差穩(wěn)定化等。
據(jù)Westheimer(2001)所言,法國(guó)大革命是傅里葉級(jí)數(shù)引入及推廣的歷史大背景,
盡管在當(dāng)時(shí)傅里葉級(jí)數(shù)本身遭到了科學(xué)界的強(qiáng)烈反對(duì)。傅里葉理論發(fā)展的早期充滿質(zhì)疑聲,但在200多年后的今天看來(lái),傅里葉理論及其發(fā)展得到的各種傅里葉方法在眾多科學(xué)領(lǐng)域中得到了廣泛應(yīng)用。小波理論的發(fā)展可以說(shuō)是一場(chǎng)科學(xué)革命。小波的一些有趣特性很容易理解,例如多尺度性、局部化和速率。其他一些重要性質(zhì),如無(wú)條件基性質(zhì),也應(yīng)當(dāng)進(jìn)一步去了解。筆者希望,本書(shū)能在某種程度上幫助大家去創(chuàng)建更多的小波新方法,同時(shí)也希望小波方法能在下一個(gè)200年得到更大的發(fā)展,并發(fā)揮更重要的作用!
本書(shū)主要介紹小波方法的應(yīng)用。 筆者撰寫(xiě)本書(shū)主要有兩個(gè)目的:一個(gè)是想介紹統(tǒng)計(jì)學(xué)中已經(jīng)應(yīng)用了小波方法或具有應(yīng)用小波方法潛力的主要領(lǐng)域;另一個(gè)是希望能推動(dòng)小波方法的普及及應(yīng)用。出于這樣的目的, 本書(shū)的主要內(nèi)容將圍繞免費(fèi)的統(tǒng)計(jì)軟件R及WaveThresh軟件包展開(kāi)。 通過(guò)這些軟件工具,讀者不僅可以學(xué)習(xí)和應(yīng)用統(tǒng)計(jì)學(xué)中的小波方法,還可以根據(jù)自己的需求修改及利用這些方法。本書(shū)試圖以傳統(tǒng)專著的方式覆蓋較為廣泛的技術(shù)領(lǐng)域,但在內(nèi)容安排上仍不可避免地受限于筆者的學(xué)識(shí)以及WaveThresh的應(yīng)用范圍。本書(shū)的一個(gè)特點(diǎn)是書(shū)中幾乎所有的計(jì)算都有相應(yīng)的代碼,并可從WaveThresh網(wǎng)站下載這些代碼。因此,筆者希望本書(shū)至少在某種程度上達(dá)到了由Buckheit和Donoho(1995)所提出的可重復(fù)性研究(reproducible research)的標(biāo)準(zhǔn)。
本書(shū)中的大部分WaveThresh代碼是筆者編寫(xiě)的,但書(shū)中也有許多他人編寫(xiě)的代碼。 這些代碼的編寫(xiě)者貢獻(xiàn)并慷慨地同意在WaveThresh中發(fā)布這些代碼。在此,筆者要感謝Felix Abramovich(FDR閾值處理)、Stuart Barber(復(fù)值小波和閾值處理,貝葉斯小波可信區(qū)間)、Tim Downie(多小波)、Idris Eckley(2D局部平穩(wěn)小波過(guò)程)、Piotr Fryzlewicz(泊松過(guò)程的HaarFisz變換)、Arne Kovac(不規(guī)則數(shù)據(jù)的小波收縮)、Todd Ogden(變點(diǎn)閾值處理)、Theofanis Sapatinas(Donoho和Johnstone測(cè)試函數(shù),一些小波包時(shí)間序列碼,BayesThresh閾值)、Bernard Silverman(實(shí)數(shù)FFT)、David Herrick(小波密度估計(jì))和Brani Vidakovic(DaubechiesLagarias算法)。還有許多其他人員,有的編寫(xiě)了附件,有的進(jìn)行了改進(jìn)和擴(kuò)展。此外,我還要感謝Anthony Davison提供了他的團(tuán)隊(duì)編寫(xiě)的SBand代碼。
感謝布里斯托爾大學(xué)麻醉科的A.Black和D.Moshal所提供的體積描記數(shù)據(jù),感謝布里斯托爾兒童健康研究所的P.Fleming、A.Sawczenko和J.Young所提供的嬰兒心電/睡眠狀態(tài)數(shù)據(jù),感謝蒙特塞拉特火山觀測(cè)臺(tái)和Aspinall and Associates的Willy Aspinall所提供的RSAM數(shù)據(jù)。
感謝Springer的John Kimmel鼓勵(lì)筆者成為“Springer UseR!”系列圖書(shū)的作者, 在此期間,筆者有幸與小波、數(shù)學(xué)和統(tǒng)計(jì)學(xué)領(lǐng)域的許多著名人士一起工作和討論。最后,筆者還要感謝Felix Abramovich、Anestis Antoniadis、Dan Bailey*、 Rich Baraniuk、Stuart Barber、Jeremy Burn、Alessandro Cardinali、Nikki Carlton、Merlise Clyde、Veronique Delouille、David Donoho、Tim Downie、Idris Eckley、Piotr Fryzlewicz*、Gérard Grégoire、Peter Green、Peter Hall、David Herrick、Katherine Hunt、Maarten Jansen、Iain Johnstone、 Eric Kolaczyk、Marina Knight*、Gerald Kroisandt、Thomas Lee、Emma McCoy、David Merritt、Robert Morgan、Makis Motakis、 Mahadevan Naventhan、Matt Nunes*、Sofia Olhede、HeeSeok Oh、Marianna Pensky、Howell Peregrine、Don Percival、Marc Raimondo、Theofanis Sapatinas、Sylvain Sardy、Andrew Sawczenko、Robin Sibson、Glenn Stone、Suhasini Subba Rao、Kostas Triantafyllopoulos、Brani Vidakovic、Sebastien Van Bellegem、Rainer von Sachs、Andrew Walden、Xue Wang、Brandon Whitcher。特別感謝姓名上標(biāo)有“*”的人士,他們閱讀了本書(shū)的初稿,并提出了一系列寶貴建議。特別感謝Bernard Silverman引導(dǎo)筆者進(jìn)入小波領(lǐng)域,在筆者職業(yè)生涯的早期階段提供了很多明智的建議。
第1章 引言 1
1.1 什么是小波 1
1.2 為什么使用小波 2
1.3 小波在統(tǒng)計(jì)學(xué)中的應(yīng)用 9
1.4 關(guān)于本書(shū)及其應(yīng)用軟件 11
第2章 小波 12
2.1 多尺度變換 12
2.1.1 序列的多尺度分析 12
2.1.2 離散Haar小波 17
2.1.3 矩陣表示 21
2.2 Haar小波 24
2.2.1 尺度和平移量 24
2.2.2 細(xì)尺度逼近 24
2.2.3 從較細(xì)尺度計(jì)算較粗尺度的c 26
2.2.4 尺度近似函數(shù)間的差——小波 28
2.2.5 Haar小波變換與離散表示之間的聯(lián)系 29
2.2.6 離散小波變換的系數(shù)結(jié)構(gòu) 30
2.2.7 離散Haar小波變換的例子 30
2.3 多分辨率分析 33
2.3.1 多分辨率分析 33
2.3.2 投影表示 34
2.3.3 擴(kuò)張方程和小波構(gòu)造 34
2.4 消失矩 36
2.5 WaveThresh小波 36
2.5.1 Daubechies的緊支撐小波 36
2.5.2 復(fù)值Daubechies小波 40
2.6 其他小波 41
2.6.1 Shannon小波 41
2.6.2 Meyer小波 42
2.6.3 樣條小波 42
2.6.4 Coiflets小波 44
2.6.5 雙正交小波 44
2.7 通用(快速)離散小波變換 45
2.7.1 正向變換 45
2.7.2 濾波、二元抽樣和降采樣 46
2.7.3 獲得初始細(xì)尺度父系數(shù) 46
2.7.4 離散小波逆變換 48
2.8 邊界條件 50
2.9 非抽樣小波 51
2.9.1 ε-抽樣小波變換 51
2.9.2 非抽樣小波變換(NDWT) 52
2.9.3 時(shí)間和數(shù)據(jù)包NDWT排序 54
2.9.4 對(duì)非抽樣小波的補(bǔ)充說(shuō)明 58
2.10 多小波 58
2.11小波包變換 60
2.11.1 最佳基算法 61
2.11.2 WaveThresh示例 63
2.12 非抽樣小波包變換 65
2.13 多元小波變換 66
2.14 其他問(wèn)題 69
第3章 小波收縮 71
3.1 概述 71
3.2 小波收縮 72
3.3 一個(gè)假設(shè) 74
3.4 測(cè)試函數(shù) 75
3.5 通用閾值 76
3.6 初始分辨率 82
3.7 SURE閾值 82
3.8 交叉驗(yàn)證 83
3.9 錯(cuò)誤發(fā)現(xiàn)率 85
3.10 貝葉斯小波收縮 86
3.10.1 先驗(yàn)高斯混合 87
3.10.2 點(diǎn)質(zhì)量分布和高斯分布的混合 88
3.10.3 超參數(shù)和Besov空間 89
3.10.4 點(diǎn)質(zhì)量分布和重尾分布的混合 90
3.11 線性小波平滑 93
3.12 非抽樣小波收縮 94
3.12.1 平移不變小波收縮 94
3.12.2 基的選擇 98
3.13 多小波收縮(多小波) 101
3.14 復(fù)小波收縮 103
3.15 分塊閾值 109
3.16 雜項(xiàng)和討論 111
第4章 小波平滑相關(guān)技術(shù) 113
4.1 概述 113
4.2 相關(guān)數(shù)據(jù) 113
4.3 非高斯噪聲 118
4.4 多維數(shù)據(jù) 120
4.5 不規(guī)則間隔數(shù)據(jù) 124
4.6 置信區(qū)間 129
4.6.1 小波的冪近似 131
4.6.2 更精確的區(qū)間 131
4.7 分布密度估計(jì) 132
4.8 生存函數(shù)估計(jì) 135
4.9 反問(wèn)題 140
第5章 多尺度時(shí)間序列分析 143
5.1 概述 143
5.2 平穩(wěn)時(shí)間序列 144
5.2.1 平穩(wěn)模型 144
5.2.2 平穩(wěn)時(shí)間序列的尺度分析 147
5.3 局部平穩(wěn)時(shí)間序列 149
5.3.1 離散非抽樣小波 150
5.3.2 局部平穩(wěn)小波(LSW)過(guò)程 151
5.3.3 LSW仿真 153
5.3.4 局部自協(xié)方差和自相關(guān)小波 155
5.3.5 LSW估計(jì) 156
5.3.6 更多關(guān)于小波周期圖平滑的信息 160
5.3.7 嬰兒心電圖數(shù)據(jù)的LSW分析 160
5.3.8 RSAM數(shù)據(jù)的LSW分析 163
5.4 局部平穩(wěn)小波模型在預(yù)測(cè)中的應(yīng)用 163
5.4.1 LSW預(yù)測(cè)軟件的應(yīng)用 165
5.4.2 LSW非平穩(wěn)預(yù)測(cè)的基礎(chǔ) 167
5.5 基于小波包的時(shí)間序列分析 168
5.6 相關(guān)主題和討論 169
第6章 多尺度方差穩(wěn)定變換 170
6.1 平方根在泊松過(guò)程中的應(yīng)用 170
6.2 Fisz變換 172
6.3 泊松分布密度估計(jì) 175
6.4 泊松數(shù)據(jù)的HaarFisz變換 175
6.4.1 最細(xì)尺度下小波系數(shù)的Fisz變換 175
6.4.2 較粗尺度下小波系數(shù)的Fisz變換 176
6.4.3 HaarFisz系數(shù)的均值 176
6.4.4 HaarFisz的多尺度性質(zhì) 177
6.4.5 Haar小波逆變換 177
6.4.6 HaarFisz變換的公式 178
6.4.7 HaarFisz小波逆變換 178
6.4.8 WaveThresh中的HaarFisz變換 179
6.4.9 去噪和強(qiáng)度估計(jì) 183
6.4.10 循環(huán)移位 184
6.5 數(shù)據(jù)驅(qū)動(dòng)的HaarFisz變換 185
6.5.1 h已知 185
6.5.2 h未知 186
6.5.3 例1:航空公司乘客數(shù)據(jù) 187
6.5.4 例2:GOES8 X射線數(shù)據(jù) 190
6.6 討論 190
附錄 191
附錄A 用于小波和統(tǒng)計(jì)學(xué)的R軟件 191
附錄B 符號(hào)和數(shù)學(xué)概念 192
B.1 函數(shù)空間 192
B.2 函數(shù)的支集 193
B.3 內(nèi)積、范數(shù)和距離 193
B.4 正交性和希爾伯特空間 193
B.5 向量空間的和 193
B.6 傅里葉變換 194
B.7 傅里葉級(jí)數(shù) 194
B.8 Besov空間 194
B.9 Landau符號(hào) 195
附錄C 生存函數(shù)代碼 195
參考文獻(xiàn) 197