關(guān)于我們
書單推薦
新書推薦
|
統(tǒng)計信仰 讀者對象:本書適用于統(tǒng)計學(xué)學(xué)習(xí)者
本書分為上下兩篇, 共9章。上篇包括從邏輯到統(tǒng)計、頻率統(tǒng)計、貝葉斯統(tǒng)計與最大熵、Fisher統(tǒng)計、肥尾統(tǒng)計, 主要介紹了統(tǒng)計學(xué)理論四大派別的思想和主要工具。下篇包括因果認(rèn)知、統(tǒng)計認(rèn)知、商業(yè)決策、個人決策, 主要剖析了統(tǒng)計學(xué)理論四大派別在應(yīng)用端的新發(fā)展。
前 言
曼哈頓學(xué)院的Mark Mills和Peter Huber說:“文明,就像生活一樣,是一段飛離混亂的旅程,它充滿苦難,永無盡頭。混亂最終會占據(jù)上風(fēng),但我們的使命就是盡可能地推遲它,用盡一切的聰明才智和決心,把事情朝著相反的方向推!
為了盡力解釋這個世界,我們訴諸不同的努力:從概率到?jīng)Q策,從科學(xué)到哲學(xué),從算法到心法,從認(rèn)知到命運(yùn)。然而,這種類比建立聯(lián)系的方式有著一個根本的問題,即理性是有限的。
科學(xué)家可以利用科學(xué)工具解決很多技術(shù)問題,但卻無法利用科學(xué)工具解答關(guān)于價值觀、道德、立場的問題。維特根斯坦語言哲學(xué)、波普爾批判理性主義也紛紛指出了理性的局限。人們不得不接受這樣一個觀點:純粹理性是不存在的,理性有一定作用但非萬能。
盡管波普爾為“可證偽性無法被證偽”所質(zhì)疑,但這種質(zhì)疑實質(zhì)上偏離了波普爾發(fā)明“可證偽”黃金標(biāo)準(zhǔn)的初衷。問題不在于“可證偽”是否成立、是否有意義,波普爾最大的貢獻(xiàn)在于,他給出了一個有意義的學(xué)科分界標(biāo)準(zhǔn)。盡管遭遇了挑戰(zhàn),但在更好的競爭性標(biāo)準(zhǔn)提出之前,有趣的是,可證偽這個概念本身卻并非是“實證”的,它并非是科學(xué)領(lǐng)域的概念,而應(yīng)歸屬于哲學(xué)領(lǐng)域。因此,可證偽概念只是一種方針,一種經(jīng)驗法則。雖然不可證偽性不是黃金標(biāo)準(zhǔn),但利用它,我們可以排除很多偽科學(xué)。同樣值得注意的是,武斷地使用它,我們也可能會輕易丟失正確的科學(xué)結(jié)論。
盡管這一經(jīng)驗法則不是普世真理,但它卻是一個有效的工具,可以在經(jīng)驗科學(xué)的陳述與一切其他陳述(宗教,形而上等學(xué)科)之間畫出一條相對明確的分界線。
波普爾的可證偽思想一直明確地宣示著科學(xué)領(lǐng)域邊界,并在其中長期確立著自己的主導(dǎo)地位。
在這樣的劃分下,概率、科學(xué)、算法、認(rèn)知這些理性的、“可證偽”世界的元素并不能完全地映射到“可證偽”黃金標(biāo)準(zhǔn)“一無是處”的社會學(xué)乃至人文學(xué)領(lǐng)域
的決策、哲學(xué)、心法、命運(yùn)上,這種映射多半會帶來粗淺的類比。
波普爾認(rèn)為,科學(xué)方法的正確性應(yīng)該建立在可證偽的基礎(chǔ)上。然而,這個可證標(biāo)準(zhǔn)本身是無法證偽的,因此波普爾的理論根據(jù)他自己建立的可證偽標(biāo)準(zhǔn)是不成立的,但這卻印證了他對純粹理性的批判。
這個“可證偽”標(biāo)準(zhǔn),應(yīng)該是一種區(qū)分實證知識和非實證知識的標(biāo)準(zhǔn)。波普爾據(jù)此就已經(jīng)將數(shù)學(xué)和邏輯學(xué)開除了科學(xué)的戶籍——因為公理學(xué)統(tǒng)的公理無法被證偽。
從波普爾到庫恩、卡拉托斯、費(fèi)耶阿本德,他們都指出,理論如同冰山,有一個巨大的被淹沒部分,這個部分是非理論的,但對于理論的發(fā)展又必不可少。
人生在世,理性之外的文化參與是一種必不可少的訓(xùn)練,以此來理解群體和社會的運(yùn)行:如果你在一家制藥公司工作,那么你需要了解患者,否則你的所有藥物開發(fā)嘗試都將失。蝗绻阋圃炱,那么你需要知道司機(jī)的生活方式,否則你的車?yán)飼O(shè)計一大堆不相干的配置;如果你在政府工作,那么你需要借助社會科學(xué)理論來批判性地思考官僚主義……
古希臘哲學(xué)家德謨克利特說:“我寧愿發(fā)現(xiàn)一個原因,也不愿成為波斯國王!
1998 年諾貝爾物理學(xué)獎得主Robert B. Laughlins 曾說,在一個存在著諸如離獅子近就會被吃掉那樣的因果關(guān)系的世界上謀生存,使我們生來就具備了尋找事物之間因果關(guān)系的能力。
似乎一個人的一生需要供奉兩個“神明”:一個是科學(xué)理論的,用以解釋概率化的客觀世界;另一個是非科學(xué)理論的,用以解決人類的因果訴求。
決策、哲學(xué)、心法、命運(yùn)大都是因果論下的主題?茖W(xué)的飛躍拓展了我們對世界的概率解讀,但人的問題大都是因果問題。
在因果認(rèn)知方面,我們還缺乏有效的理論,但這不意味著這個領(lǐng)域完全空白, 至少Judea Pearl 和Dana Mackenzie 的The Book of Why, 以及E. T. Jaynes 的Probability Theory:The Logic of Science 在這方面做出了有效的嘗試。因果推斷作為遲到的理論是值得深入研究的。
利用科學(xué),我們可以輕松地說出100 年后人類生活不會發(fā)生太大的變化,但卻很難預(yù)測50 年后人類的生活具體會是什么樣的。預(yù)測未來的難度在于,科學(xué)的發(fā)展總是步步推進(jìn)的。例如,我們無意中發(fā)明了火箭技術(shù),于是產(chǎn)生了太空探險的需求;我們創(chuàng)造出了電動車,于是產(chǎn)生了不同于燃油車的,對電動車的需求和依賴。針對很多進(jìn)步,在事后看來技術(shù)和需求往往是互為因果的,都解釋得通。人類行為更是如此,在事前看來,處處是迷霧,但在事后看來,人人覺得理所當(dāng)然,從來不缺乏有效的解釋。
成功學(xué)大師們口吐蓮花,從投硬幣概率到人生哲理感悟,以概率數(shù)字思考機(jī)會和命運(yùn),以小見大感悟人生哲理,其實大都缺少深刻而確定的理論依據(jù),缺乏拓展性和適應(yīng)性。其本質(zhì)上忽視了科學(xué)的概率理性世界與主觀因果認(rèn)知世界的巨大鴻溝。
稍不注意,我們一廂情愿的主觀意愿就會被披上科學(xué)和理性的外衣,投射為急功近利的成功學(xué)和勵志怡情的心靈雞湯。
在這個社會上有能力把所有問題解釋得頭頭是道的人越來越多,但憑借親身經(jīng)歷真正理解問題的人卻越來越少。為了聯(lián)系理論與宏觀世界,跨越知識的藩籬,我們需要一個更好用的“中間件”,而不是簡單粗暴地牽強(qiáng)附會。
世界越混亂和不可預(yù)測,人們就越渴望熟悉的、原創(chuàng)的、真實的東西。我好奇的是,為了跨域兩種認(rèn)知,是否存在更加基本的元認(rèn)知呢?
解除這一疑惑便是《統(tǒng)計信仰:駕馭無序世界的元認(rèn)知》一書創(chuàng)作的初衷。
跨越學(xué)科啟發(fā)認(rèn)知的事情,只要做得正確,也可以無比美妙。例如,弦論物理學(xué)家大栗博司就曾把電磁學(xué)理論類比為金融市場里的貨幣理論,使電場與匯率、磁場與利率產(chǎn)生了聯(lián)系,并一鼓作氣推導(dǎo)出了金本位制與希格斯波色子之間的奇妙聯(lián)系。
對于人類來說,分析這個世界太復(fù)雜,我們很少有機(jī)會能夠獲取形式簡潔、和諧自洽、富有美感的本質(zhì)發(fā)現(xiàn)。
索羅斯曾說:“我投資和創(chuàng)造財富的理論,基本上是在學(xué)生時代創(chuàng)造和形成的哲學(xué)思想,這蒙恩于我的老師波普爾。”現(xiàn)代風(fēng)險學(xué)實踐大師塔勒布也喜歡波普爾,并發(fā)展出了自成一派的肥尾哲學(xué)。他們學(xué)習(xí)波普爾,但沒有拘泥于波普爾,最后都超越了波普爾,他們的認(rèn)知都觸及此前理性科學(xué)無法觸及的人文領(lǐng)域,批判對待理性的觀點一直在實踐中蓬勃發(fā)展。
在眾多潛在“中間件”中,統(tǒng)計學(xué)無疑是一個有趣的備選項。
統(tǒng)計學(xué)的最大魅力在于,我們可能并不需要刻意解釋什么,只需要發(fā)明一個簡單的模型,并以此重現(xiàn)現(xiàn)實世界的幾個特征,即可獲得新的認(rèn)知,如醫(yī)學(xué)中的生存分析、金融學(xué)中的鞅測度、心理學(xué)中的元分析,每當(dāng)獲得了新的認(rèn)知時,我們便取得了進(jìn)步。隨著這些進(jìn)步,更好的模型將被發(fā)明出來,以更加精確的方式重現(xiàn)現(xiàn)實世界越來越多的特征。
統(tǒng)計推斷是一門內(nèi)容極其廣泛的學(xué)科,實際上,它位于數(shù)學(xué)、經(jīng)驗科學(xué)和哲學(xué)三門學(xué)科的交叉點上。而在當(dāng)今最令人敬畏的風(fēng)險管理理論學(xué)者Nassim NicholasTaleb 眼中,借助統(tǒng)計學(xué),還能讓數(shù)學(xué)、哲學(xué)、社會科學(xué)、契約理論和決策理論五個領(lǐng)域達(dá)成高度默契。
統(tǒng)計學(xué)這種研究隨機(jī)性影響并量化不確定性的屬性,使得其自帶超強(qiáng)的跨界融合的特點。它不以任何一個專門領(lǐng)域為研究對象,只要在安排實驗和處理數(shù)據(jù)過程中涉及一些一般性的、共同的數(shù)學(xué)問題,就可以利用統(tǒng)計學(xué)知識。
毫不夸張地說,統(tǒng)計學(xué)是博學(xué)者的捷徑、萬物理論的圣杯,這正印證了那句英語箴言:Mastering Math is a Shortcut to Becoming a Polymath(掌握數(shù)學(xué)是成為博學(xué)者的捷徑)。
在當(dāng)“跨界”稱為熱詞時,在成為博學(xué)者的路徑上,學(xué)習(xí)統(tǒng)計學(xué)是必由之路。
單一領(lǐng)域的專門知識暗含不容置疑的假定,而廣闊的知識更能包容深刻的問題和新穎的觀點。也許通過統(tǒng)計學(xué),生命的無秩序、混亂和不可知性都可以慢慢走向量化。
隨著時間的推移,我越發(fā)敬畏統(tǒng)計學(xué)這門學(xué)科,并因此萌生了以一種非通俗淺顯科普,也非遵循專業(yè)教材嚴(yán)格推理的方式,書寫統(tǒng)計學(xué)的想法:將重點放在構(gòu)建知識體系和世界觀上,力圖展現(xiàn)統(tǒng)計學(xué)理論和應(yīng)用的美妙之處和不為人知的一面。
認(rèn)知成熟的標(biāo)志,不是尋求終極的大道理,而是潛移默化地關(guān)聯(lián)起身邊每個領(lǐng)域里發(fā)生的小事情。思維的世界里沒有權(quán)威,沒有人可以剝奪你思想的樂趣,有很多科學(xué)家窮盡一生堅持研究就是為了探尋這種隱秘、未知而又突如其來的極大喜悅。
力圖單槍匹馬解讀這樣宏大的命題無疑是狂妄和無知的,除非站在巨人的肩膀上。作者在本書的創(chuàng)作過程中,自然也拜讀了眾多大師的著作。這些大師包括:
● 物理學(xué)家及堅定的貝葉斯學(xué)者 Edwin Thompson Jaynes。
● 計算機(jī)時代統(tǒng)計學(xué)的引路人 Bradley Efron。
● 中國統(tǒng)計學(xué)泰斗陳希孺院士。
● 科學(xué)哲學(xué)最危險的敵人兼具無窮批判力的 Paul Feyerabend。
● 肥尾統(tǒng)計的開拓者、當(dāng)代令人敬畏的風(fēng)險管理理論學(xué)者 Nassim NicholasTaleb。
● 人工智能先驅(qū)、“貝葉斯網(wǎng)絡(luò)之父”Judea Pearl。
不管怎么說,“獨立思考”都是一個枯燥又空洞的詞。人的知識絕大多數(shù)是從他人那里借鑒學(xué)習(xí)獲得的,真正的知識生產(chǎn)的成本是很高的。一路閱讀就會發(fā)現(xiàn),這個世界上真正有用且自己用得上的知識真的很少。理解那些偉大的思想比批判它們往往困難得多。
從分子生物學(xué)到數(shù)理生物學(xué),從物理化學(xué)到計算機(jī)算法設(shè)計,從通信到微觀經(jīng)濟(jì)學(xué),從密碼學(xué)到保險,從人口普查到全民選舉,從統(tǒng)計物理到量子力學(xué),從無人車到心理學(xué),從氣象預(yù)報和地質(zhì)探礦到醫(yī)藥開發(fā)和疾病治療,從公共政策到金融風(fēng)險投資……它們都是新的、有趣的和困難的問題的來源。
統(tǒng)計學(xué)一方面建立了一個在數(shù)學(xué)上可以處理且盡可能簡單方便的模型來描述數(shù)據(jù),另一方面要求數(shù)據(jù)中包含盡可能多的、與所研究問題有關(guān)的信息。因此,本書不是一本關(guān)于統(tǒng)計學(xué)或概率的數(shù)學(xué)理論書,針對本書更貼切的說法可能是關(guān)于思考如何拓展知識,努力聯(lián)系起概率世界和因果世界的工具書。
從在公眾號SerendipityCamp 上開設(shè)了追蹤病毒、人生算法、科學(xué)良質(zhì)三個專題開始,我就一直在思考,獲得新的認(rèn)知是否存在捷徑。但至今我也沒有找到一個令自己滿意的答案。如果你現(xiàn)在問我獲得新的認(rèn)知是否存在捷徑,我會說:“我不知道。”但是,這一不能令人滿意的回答,絕對不會減弱我的“提升認(rèn)知存在捷徑”這一信念。
在跨界方面,物理學(xué)家常常具備先天優(yōu)勢,根源在于研究物理學(xué)除了能深入了解這個世界是怎么運(yùn)作的,還能培養(yǎng)自己分析和解決問題的能力,包括經(jīng)典力學(xué)和電磁學(xué)問題、引力與核作用問題、量子力學(xué)問題、統(tǒng)計物理問題……它們的框架和推理完全不同,這個廣泛的覆蓋面能將思維和分析能力拓展得很強(qiáng)。
我想,統(tǒng)計學(xué)或許也能夠擔(dān)起拓展認(rèn)知的大任,因而我有足夠的信心認(rèn)定,獲得新的認(rèn)知的捷徑是存在的。
對于人類來說,分析這個世界太復(fù)雜,只有把它分解成小塊并分別研究,才能取得進(jìn)展。要剖析“語法”本身,找到語法的漏洞,并發(fā)明新的工具來填補(bǔ)未知,用它來解決它適合解決的問題。為了聯(lián)系宏觀世界和多種學(xué)科,我們需要一個更好用的“中間件”,統(tǒng)計學(xué)是無疑一個有趣的備選項,即便是廣羅萬物的物理學(xué)研究也極依賴于這個數(shù)學(xué)工具。
都說戲劇充滿了沖突,統(tǒng)計學(xué)無疑也是一出大幕劇,其中孕育了大量沖突和類比的觀點,讓這門學(xué)科有了縱深感和復(fù)雜性。
● 統(tǒng)計推斷,統(tǒng)計決策。
● P、Q 測度下的世界觀。
● 海森伯測不準(zhǔn)原理,熵。
● 小樣本理論,大樣本理論。
● 元分析,元概率。
● 置信區(qū)間,信任區(qū)間,信念區(qū)間。
● 貝葉斯派,頻率派,F(xiàn)isher 派,最大熵原理。
● 顯著性,效應(yīng)量。
● 熱力熵,信息熵,統(tǒng)計熵。
● RR,AR,OR,HR。
● 中心極限定理,大數(shù)定理,大偏差理論。
● 一般線性模型,廣義線性模型,廣義可加模型。
● 期望的概率函數(shù),函數(shù)的期望回報。
● 高斯分布吸引子,冪律分布吸引子。
● p 值,效應(yīng)量。
● 布朗運(yùn)動,幾何布朗運(yùn)動。
● 指數(shù)族分布,冪律分布,穩(wěn)定分布。
● 樣本分布,抽樣分布,先驗分布。
● 無偏估計,有偏估計。
● 回歸分析,方差分析。
● 等效性,劣效性,優(yōu)效性。
● 超越合理懷疑,占優(yōu)勢證據(jù)。
● 棄真錯誤,采偽錯誤。
● 客觀先驗,經(jīng)驗先驗,共軛先驗。
● 演繹,歸納,溯因,類比。
● 經(jīng)驗主義,理性主義。
沖突性無關(guān)乎主題的大小,主題清單沒有盡頭。在本書中,我將竭盡所能,將這些戲劇化的理論對抗一一展現(xiàn),并通過這些對立概念展示統(tǒng)計學(xué)與物理學(xué)、工程學(xué)、醫(yī)學(xué)、金融學(xué)、社會科學(xué)、心理學(xué)及個人決策等領(lǐng)域之間的深層隱秘邏輯。
本書將分為獨立的兩個部分,上篇介紹統(tǒng)計學(xué)理論四大派別的思想和主要工具,主要包括從邏輯到統(tǒng)計、頻率統(tǒng)計、貝葉斯統(tǒng)計與最大熵、Fisher 統(tǒng)計和肥尾統(tǒng)計;下篇從工程學(xué)、醫(yī)學(xué)、金融學(xué)、社會科學(xué)、心理學(xué)及個人決策等多個角度入手,應(yīng)用多樣的統(tǒng)計工具,分析統(tǒng)計學(xué)不為人知的強(qiáng)大適應(yīng)性和解釋力。
知識的方法論沒有任何方法能夠高效傳遞,所以你要找到竅門撥開那層薄紗,建立目標(biāo)并開始行動,只要一開始行動,碎片化的知識就會迅速被組織起來,并被使用、試錯、迭代,這些碎片終會穿過你的身體并成為身體的一部分。
本書能夠出版要感謝的人有很多:耐心且包容的“非著名圖書策劃人”姚新軍(@長頸鹿27)先生,提供寶貴審閱意見的馮國雙博士(@小白學(xué)統(tǒng)計),給予幫助和鼓勵的良師益友羅本進(jìn)博士、王立耀教授、黎勝文老師等,以及身邊的朋友和家人,當(dāng)然,更重要的是眾多素未謀面但為公眾號SerendipityCamp 提出批評和建議的新老朋友們。
在書寫勵志故事早已令人厭倦的時代,談夢想總是不合時宜的。但正如20 世紀(jì)德裔作家埃里希• 瑪麗亞• 雷馬克所說:我們有夢想,因為若沒有,便無法承受現(xiàn)實的真相。我們不斷跨越知識的邊界,實踐一生,探尋真相,只是為了證明:人生,不只是從搖籃到墳?zāi)沟穆L跋涉。
徐鴻鵠,某德資企業(yè)項目管理負(fù)責(zé)人,公眾號SerendipityCamp創(chuàng)作者,中德教育與科技合作促進(jìn)中心高級顧問。
上篇 第1 章 從邏輯到統(tǒng)計 / 7 壹 歸納推理 / 7 貳 演繹推理 / 11 叁 因果& 概率 / 15 肆 溯因推理 / 19 伍 邏輯& 語言 / 22 陸 概率& 統(tǒng)計 / 24
第2 章 頻率統(tǒng)計 / 28 壹 頻率主義 / 28 貳 點估計:矩估計& 極大似然估計 / 31 叁 最優(yōu)估計量 / 35 肆 假設(shè)檢驗 / 38 伍 p 值爭議 / 43 陸 區(qū)間估計 / 48 柒 分布族 / 51 捌 抽樣分布 / 54 玖 一般線性模型:方差分析& 回歸分析 / 57 拾 模型泛化:回歸與非參數(shù)的現(xiàn)代方法 / 60 拾壹 統(tǒng)計決策 / 65 拾貳 頻率觀批判 / 67
第3 章 貝葉斯統(tǒng)計與最大熵 / 69 壹 貝葉斯觀點 / 69 貳 貝葉斯估計& 檢驗 / 75 叁 探秘先驗:經(jīng)驗貝葉斯& 客觀貝葉斯& 共軛先驗 / 78 肆 貝葉斯現(xiàn)代方法 / 82 伍 貝葉斯觀點批判 / 85 陸 最大熵原理 / 89
第4 章 Fisher 統(tǒng)計 / 94 壹 統(tǒng)計推斷三叉戟 / 94 貳 置信區(qū)間/ 信任區(qū)間/ 信念區(qū)間 / 97 叁 第三派 / 100 肆 Fisher 信息量 / 103 伍 有偏估計 / 105 陸 大規(guī)模假設(shè)檢驗 / 109
第5 章 肥尾統(tǒng)計 / 113 壹 指數(shù)分布族& 冪律分布族& 穩(wěn)定分布族 / 113 貳 統(tǒng)計之旅:從退化到無序 / 119 叁 中值定理 / 126 肆 極值理論 / 129 伍 平均絕對偏差& 標(biāo)準(zhǔn)差 / 132 陸 高斯世界之外的奇異世界 / 135
下篇 第6 章 因果認(rèn)知 / 146 壹 確定性的源頭:實驗設(shè)計初探 / 146 貳 醫(yī)學(xué)實驗設(shè)計:蛇杖上的舞蹈 / 152 叁 因果推斷:從科學(xué)范式到認(rèn)知范式 / 157 肆 機(jī)器學(xué)習(xí)困局:概率的?因果的? / 162 伍 人的行為:維納斯的賭注 / 166 陸 貝葉斯的力量:因果源于偏見 / 171
第7 章 統(tǒng)計認(rèn)知 / 176 壹 無人車?yán)Ь郑簾o法逃離的概率世界 / 176 貳 缺憾之美:直面死亡的生存分析 / 183 叁 元認(rèn)知:效應(yīng)量到Meta 分析 / 189 肆 澆筑現(xiàn)代工業(yè)之花:可靠性試驗驗證 / 195 伍 精美的試驗品:從布朗運(yùn)動到金融帝國 / 199 陸 變異與毀滅:預(yù)防原則 / 204
第8 章 商業(yè)決策 / 210 壹 門薩圈套:智商測試的偽科學(xué) / 210 貳 維度的秘密:戲局謬誤與PQ 測度 / 215 叁 大廈將傾:肥尾重塑的金融秩序 / 219 肆 效果邏輯:駕馭隨機(jī)性的創(chuàng)業(yè)法則 / 224 伍 投機(jī)微論:最優(yōu)組合與風(fēng)格博弈 / 229 陸 反身理論:從金融學(xué)到宇宙學(xué) / 234
第9 章 個人決策 / 238 壹 偏見的偏見 / 238 貳 平均斯坦與極端斯坦 / 243 叁 遍歷性災(zāi)難 / 247 肆 脆弱與反脆弱 / 251 伍 人生算法 / 255 參考文獻(xiàn) / 259
你還可能感興趣
我要評論
|