換一種方式學(xué)習(xí)存儲(chǔ)系統(tǒng)
你好，我是李玥，很高興在這里遇見你。
我的從業(yè)經(jīng)歷比較豐富，曾在傳統(tǒng)IT行業(yè)做過大量的企業(yè)級(jí)toB系統(tǒng)，轉(zhuǎn)戰(zhàn)互聯(lián)網(wǎng)后，又曾帶領(lǐng)創(chuàng)業(yè)團(tuán)隊(duì)體驗(yàn)過從0到1創(chuàng)業(yè)的艱辛，見證過互聯(lián)網(wǎng)高速增長(zhǎng)的高光時(shí)刻，也經(jīng)歷過數(shù)年電商大促的洗禮。近年來，我主要從事基礎(chǔ)架構(gòu)領(lǐng)域（包括一些存儲(chǔ)系統(tǒng)和中間件等）的技術(shù)工作。簡(jiǎn)單地說，我是一個(gè)造輪子的程序員。
在工作過程中，我接觸過很多系統(tǒng)。不同系統(tǒng)的業(yè)務(wù)各不相同，有做社交的，有做電商的，還有做內(nèi)容的。規(guī)模也大小不一，有的系統(tǒng)規(guī)模很小，也有像BAT使用的巨無霸系統(tǒng)。在構(gòu)建這些系統(tǒng)時(shí)，我遇到過各種各樣的問題。但總結(jié)之后我發(fā)現(xiàn)了一個(gè)神奇的規(guī)律：凡是那些特別難解決的、需要付出巨大代價(jià)的，或者損失慘重的技術(shù)問題，幾乎都可以歸結(jié)為存儲(chǔ)系統(tǒng)的問題。
其實(shí)，這個(gè)規(guī)律并不神奇，它也是有原因的。
總體來說，各種業(yè)務(wù)系統(tǒng)幾乎都屬于MIS（管理信息系統(tǒng)，有的大學(xué)還開設(shè)了這個(gè)專業(yè)）范疇。顧名思義，管理信息系統(tǒng)就是管理信息的系統(tǒng)。這里的信息其實(shí)就是數(shù)據(jù)。不管系統(tǒng)的業(yè)務(wù)是什么，終都要落到對(duì)信息的管理上，通俗地說，系統(tǒng)終的業(yè)務(wù)功能都會(huì)落到數(shù)據(jù)上。
只要數(shù)據(jù)是正確的，其他的問題基本上都是小問題。數(shù)據(jù)錯(cuò)了、丟了，以及數(shù)據(jù)處理不及時(shí)，才是會(huì)造成慘重?fù)p失的大問題。
可見，用于承載數(shù)據(jù)的存儲(chǔ)系統(tǒng)非常重要，如果能夠構(gòu)建一個(gè)安全可靠、快速穩(wěn)定的存儲(chǔ)系統(tǒng)，那么在該基礎(chǔ)之上構(gòu)建的業(yè)務(wù)系統(tǒng)，才能讓人更為放心。
綜上所述，存儲(chǔ)是系統(tǒng)中重要、關(guān)鍵的組成部分，沒有之一。
需要關(guān)注存儲(chǔ)系統(tǒng)的哪些特點(diǎn)
我們常用的存儲(chǔ)系統(tǒng)種類非常多，有單機(jī)的也有分布式的，有的是數(shù)據(jù)庫，有的是文件系統(tǒng)，還有介于二者之間的。無論是哪種存儲(chǔ)系統(tǒng)（比如，MySQL、Redis、Elasticsearch，等等），它們都具有如下三個(gè)特點(diǎn)。
個(gè)特點(diǎn)是難用。難用體現(xiàn)在哪些方面呢？對(duì)于應(yīng)用程序來說，存儲(chǔ)的作用是安全可靠地保存數(shù)據(jù)，在我們需要的時(shí)候能夠快速存取。遺憾的是，目前幾乎沒有一種存儲(chǔ)系統(tǒng)能夠滿足這個(gè)簡(jiǎn)單的要求。
對(duì)于存儲(chǔ)系統(tǒng)難用的特性，業(yè)內(nèi)有一個(gè)非常形象的比喻：開著車去商場(chǎng)購物，到了停車場(chǎng)發(fā)現(xiàn)這里不能存車，只能存零件，必須先把車子拆散，然后把這些零件分門別類地打上標(biāo)簽存放到停車場(chǎng)對(duì)應(yīng)的貨架上，走的時(shí)候再把零件逐一取出來進(jìn)行組裝。
聽起來似乎很可笑，但是仔細(xì)想想我們正在使用的這些存儲(chǔ)系統(tǒng)，其提供的功能就是如此。應(yīng)用程序里管理的數(shù)據(jù)都是對(duì)象，但是，大多數(shù)存儲(chǔ)系統(tǒng)不能直接存儲(chǔ)對(duì)象。下面就以MySQL為例進(jìn)行說明。存取一個(gè)對(duì)象時(shí)，必須把對(duì)象轉(zhuǎn)換成MySQL表中的行，還得編寫SQL語句才能完成存取操作。是不是很難用？不僅難用，而且還必須用好。要想用好，需要學(xué)習(xí)和掌握其中的方法和技巧。
第二個(gè)特點(diǎn)是慢。近年來，分布式存儲(chǔ)在業(yè)內(nèi)的發(fā)展非常迅速，每隔一段時(shí)間就會(huì)誕生一種新的數(shù)據(jù)庫，不管功能如何，它們無一例外都會(huì)與MySQL這樣的傳統(tǒng)數(shù)據(jù)庫進(jìn)行性能測(cè)試對(duì)比，以彰顯自己速度快、性能好。
不過，有句俗話：一個(gè)人越炫耀什么，說明內(nèi)心越缺少什么。這句話也同樣適用于技術(shù)圈。不斷有新的存儲(chǔ)系統(tǒng)刷新性能紀(jì)錄，恰恰說明了現(xiàn)有的存儲(chǔ)系統(tǒng)性能不盡如人意。經(jīng)過良好優(yōu)化的業(yè)務(wù)系統(tǒng)，其性能瓶頸一定是存儲(chǔ)。從性能的角度來說，存儲(chǔ)系統(tǒng)就是整個(gè)系統(tǒng)中短的那塊板，存儲(chǔ)系統(tǒng)有多慢，整個(gè)系統(tǒng)就會(huì)有多慢。如何優(yōu)化存儲(chǔ)性能，從而讓整個(gè)系統(tǒng)運(yùn)轉(zhuǎn)如飛，這其中包含了很多方法、技巧和經(jīng)驗(yàn)，需要我們學(xué)習(xí)和掌握。
第三個(gè)特點(diǎn)是雜。存儲(chǔ)與其他成熟的技術(shù)領(lǐng)域不同，后者基本上都是以一兩種方案為主，比如，Java開發(fā)基本上是以Spring為主，再比如，開發(fā)中使用的Web容器，存放靜態(tài)頁面以Nginx為主，存放動(dòng)態(tài)頁面以Tomcat為主。但存儲(chǔ)大不相同，目前已有的廣泛應(yīng)用于生產(chǎn)系統(tǒng)中的存儲(chǔ)系統(tǒng)的種類非常多。
MySQL、Redis、Elasticsearch、HBase、Hive、MongoDB、CockroachDB和S3等，這些存儲(chǔ)系統(tǒng)誰都替代不了誰，每一種都有其所擅長(zhǎng)的地方和適用的場(chǎng)景，當(dāng)然也有其突出的短板。因此，我們需要學(xué)習(xí)和掌握如何根據(jù)業(yè)務(wù)系統(tǒng)的特點(diǎn)選擇合適的存儲(chǔ)系統(tǒng)來構(gòu)建我們的系統(tǒng)。
學(xué)習(xí)存儲(chǔ)系統(tǒng)的實(shí)踐
由于存儲(chǔ)系統(tǒng)具有難用、慢、雜這幾大特點(diǎn)，因此我們學(xué)習(xí)起來更需要注重方法。如何學(xué)習(xí)才能更為高效呢？答案是實(shí)踐，從問題入手。
存儲(chǔ)涉及大量的理論知識(shí)和概念，比如，構(gòu)成存儲(chǔ)引擎的哈希表、樹等數(shù)據(jù)結(jié)構(gòu)，以及這些數(shù)據(jù)結(jié)構(gòu)的時(shí)間復(fù)雜度，這些往往都是偏理論范疇的知識(shí)，學(xué)習(xí)起來不容易理解和記憶。并且，理論和實(shí)踐之間往往存在非常大的差距，懂了一堆道理，卻還是寫不好代碼是一個(gè)很普遍的現(xiàn)象。
我撰寫的這本書將會(huì)為大家講解實(shí)踐中經(jīng)常會(huì)遇到的各種問題，以及對(duì)應(yīng)的解決方法，同時(shí)還會(huì)穿插相應(yīng)的知識(shí)和原理解說。希望這種學(xué)習(xí)方式，既可以幫讀者快速解決實(shí)際問題，又能幫讀者提升相應(yīng)的技能，進(jìn)而在存儲(chǔ)系統(tǒng)的技術(shù)領(lǐng)域構(gòu)建自己的知識(shí)框架。
本書將以電商應(yīng)用場(chǎng)景為例，從0到1講解應(yīng)該如何構(gòu)建不同規(guī)模的存儲(chǔ)系統(tǒng)。
書中每章都會(huì)解決一兩個(gè)實(shí)戰(zhàn)問題，比如：為什么在數(shù)據(jù)量和訪問量都不大的情況下，MySQL還是很慢？數(shù)據(jù)庫宕機(jī)了應(yīng)該怎么辦？等等。
為什么本書要以電商系統(tǒng)為例進(jìn)行講解呢？因?yàn)殡娚滔到y(tǒng)具有很強(qiáng)的代表性，特別適合作為研究和學(xué)習(xí)的案例。不僅是本書，很多培訓(xùn)學(xué)校、技術(shù)論壇也都特別喜歡討論電商系統(tǒng)。
首先，電商系統(tǒng)的覆蓋面足夠廣。特別是在互聯(lián)網(wǎng)行業(yè)，幾乎所有的公司都在做兩件事情：電商和社交。
其次，以電商系統(tǒng)作為案例，直接就能學(xué)以致用。因?yàn)殡娚滔到y(tǒng)具有很高的復(fù)雜性，所以你在其他業(yè)務(wù)中可能遇到的技術(shù)問題，在電商系統(tǒng)中基本上都會(huì)遇到，即使你面對(duì)的業(yè)務(wù)與電商關(guān)系不大，也一樣具有借鑒意義。
后，所有人都很熟悉電商業(yè)務(wù)領(lǐng)域。以電商系統(tǒng)作為案例，基本上不需要再講解相關(guān)的業(yè)務(wù)知識(shí)，我們可以快速專注于技術(shù)問題本身。
即使是同一個(gè)電商系統(tǒng)，不同的規(guī)模所需要解決的問題也不一樣。不少技術(shù)人員崇尚海量數(shù)據(jù)和高并發(fā)，認(rèn)為只有大企業(yè)的高并發(fā)、海量數(shù)據(jù)的核心系統(tǒng)或者底層存儲(chǔ)系統(tǒng)，才是真正有技術(shù)含量的系統(tǒng)，能勝任這種系統(tǒng)的開發(fā)者，才是真正的技術(shù)能人。這其實(shí)是一種對(duì)技術(shù)認(rèn)知的誤解。為什么這么說呢？因?yàn)椴⒉皇且?guī)模小的系統(tǒng)就簡(jiǎn)單，規(guī)模大的系統(tǒng)才有難度。
創(chuàng)業(yè)團(tuán)隊(duì)需要快速、低成本地實(shí)現(xiàn)完整的系統(tǒng)，以便快速驗(yàn)證其商業(yè)模式。處于高速增長(zhǎng)期的團(tuán)隊(duì)，所面臨的問題主要是業(yè)務(wù)的高速增長(zhǎng)和不斷變化，相應(yīng)地，團(tuán)隊(duì)也要對(duì)系統(tǒng)不停地進(jìn)行升級(jí)改造來適應(yīng)變化，并且在變化的過程中要確保系統(tǒng)的穩(wěn)定性。至于業(yè)務(wù)規(guī)模足夠大的企業(yè)，它們需要解決的問題是如何應(yīng)對(duì)高并發(fā)的海量數(shù)據(jù)。
所以說，不同規(guī)模的系統(tǒng)，在技術(shù)上并沒有難易之說，更沒有高低貴賤之分，它們的建設(shè)目標(biāo)不一樣，所面臨的挑戰(zhàn)不一樣，需要解決的問題也不一樣，對(duì)于存儲(chǔ)系統(tǒng)的選擇和架構(gòu)設(shè)計(jì)自然也是不一樣的。
本書的章節(jié)設(shè)計(jì)就是按照系統(tǒng)的發(fā)展過程，分成設(shè)計(jì)、高速增長(zhǎng)、海量數(shù)據(jù)和技術(shù)展望四篇。
在設(shè)計(jì)篇中，我們將重點(diǎn)解決從0到1的問題。例如，如何低成本、高質(zhì)量地快速構(gòu)建一個(gè)小規(guī)模的訂單存儲(chǔ)系統(tǒng)。
在高速增長(zhǎng)篇中，我們將重點(diǎn)關(guān)注在快速變化的過程中系統(tǒng)所遇到的共通問題，以及應(yīng)對(duì)這些問題的方法。例如，如何從單機(jī)存儲(chǔ)系統(tǒng)逐步演進(jìn)為分布式存儲(chǔ)系統(tǒng)，如何在線平滑地?cái)U(kuò)容存儲(chǔ)系統(tǒng)。
在海量數(shù)據(jù)篇中，我們將重點(diǎn)解決在高并發(fā)、海量數(shù)據(jù)的情況下應(yīng)該如何設(shè)計(jì)存儲(chǔ)系統(tǒng)的問題。例如，如何存儲(chǔ)海量的埋點(diǎn)數(shù)據(jù)，如何在各種數(shù)據(jù)庫之間實(shí)時(shí)地遷移和同步海量數(shù)據(jù)，等等。
在技術(shù)展望篇中，我們將重點(diǎn)探討在存儲(chǔ)技術(shù)領(lǐng)域，有哪些新技術(shù)值得關(guān)注，哪些技術(shù)可能會(huì)成為未來的發(fā)展趨勢(shì)，等等。畢竟，不斷創(chuàng)新是技術(shù)發(fā)展的原動(dòng)力。
讀完本書后，你不僅可以學(xué)習(xí)到案例中那些解決具體問題的方法，而且在電商系統(tǒng)架構(gòu)、存儲(chǔ)系統(tǒng)的設(shè)計(jì)等方面，也會(huì)有所收獲。
更重要的是，通過案例來學(xué)習(xí)常用的數(shù)據(jù)庫和存儲(chǔ)系統(tǒng)的實(shí)現(xiàn)與使用方法，有助于我們更好地總結(jié)存儲(chǔ)系統(tǒng)通用、本質(zhì)的技術(shù)原理。了解了存儲(chǔ)系統(tǒng)的本質(zhì)，我們不僅會(huì)在應(yīng)對(duì)問題時(shí)更加從容，而且會(huì)對(duì)存儲(chǔ)的理解上升一個(gè)層次，從知道怎么用升級(jí)為知道為什么這樣用，終做到活學(xué)活用。
一段新旅程即將開始，在開始正式學(xué)習(xí)之前，我還想再說一下我的想法：技術(shù)的發(fā)展使技術(shù)的使用變得越來越簡(jiǎn)單，但是作為有理想、有情懷的開發(fā)者，不能讓技術(shù)把我們變得越來越簡(jiǎn)單。很開心能與大家一起開始這段旅程，持續(xù)地豐富自己，也希望我們都能不負(fù)時(shí)光，認(rèn)真對(duì)待這段學(xué)習(xí)之旅。