大數(shù)據(jù)測(cè)試技術(shù)與實(shí)踐(全彩印刷)
定 價(jià):118 元
內(nèi) 容 提 要 本書(shū)全面系統(tǒng)地介紹了大數(shù)據(jù)的測(cè)試技術(shù)與質(zhì)量體系建設(shè)。本書(shū)共11章,第1~4章涵蓋認(rèn)識(shí)大數(shù)據(jù),大數(shù)據(jù)技術(shù)生態(tài),數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)與構(gòu)建,以及大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)流程;第5~7章講解大數(shù)據(jù)測(cè)試方法、大數(shù)據(jù)測(cè)試實(shí)踐和數(shù)據(jù)質(zhì)量管理;第8~10章介紹大數(shù)據(jù)測(cè)試平臺(tái)實(shí)踐、數(shù)據(jù)治理平臺(tái)建設(shè),以及DataOps的理念與實(shí)踐;第11章提供大數(shù)據(jù)測(cè)試學(xué)習(xí)路線。附錄列出了大數(shù)據(jù)技術(shù)經(jīng)典面試題。 本書(shū)適合想要了解大數(shù)據(jù)技術(shù)的讀者,以及想要學(xué)習(xí)和掌握大數(shù)據(jù)測(cè)試與大數(shù)據(jù)開(kāi)發(fā)的從業(yè)者。通過(guò)閱讀本書(shū),測(cè)試工程師可以系統(tǒng)地學(xué)習(xí)大數(shù)據(jù)技術(shù)基礎(chǔ)、大數(shù)據(jù)開(kāi)發(fā)和大數(shù)據(jù)測(cè)試等知識(shí);大數(shù)據(jù)開(kāi)發(fā)工程師可以借鑒大數(shù)據(jù)質(zhì)量保障的方法,拓寬數(shù)據(jù)工程實(shí)踐的思路;技術(shù)專(zhuān)家和技術(shù)管理者可以了解大數(shù)據(jù)質(zhì)量保障體系、數(shù)據(jù)治理建設(shè)和DataOps實(shí)踐等內(nèi)容。
大數(shù)據(jù)測(cè)試實(shí)踐秘籍 36位來(lái)自字節(jié)跳動(dòng)、知乎、阿里、百度、騰訊、、奇虎360、小米、網(wǎng)易等大廠專(zhuān)業(yè)技術(shù)人員聯(lián)袂推薦。 通俗易懂,精選22個(gè)大數(shù)據(jù)測(cè)試要點(diǎn),從零入手,系統(tǒng)講解大數(shù)據(jù)測(cè)試。 內(nèi)容豐富,涵蓋6大技術(shù)主題,大數(shù)據(jù)技術(shù)生態(tài)、數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)開(kāi)發(fā)、大數(shù)據(jù)測(cè)試、數(shù)據(jù)治理、DataOps。 場(chǎng)景典型,詳細(xì)解釋3個(gè)主流數(shù)據(jù)應(yīng)用場(chǎng)景問(wèn)題,數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)可視化。深度剖析BI報(bào)表、風(fēng)控模型產(chǎn)品、用戶(hù)行為分析平臺(tái)的技術(shù)原理、工程架構(gòu),并輸出了全鏈路的質(zhì)量保障方案。
艾輝,中國(guó)人民大學(xué)概率論與數(shù)理統(tǒng)計(jì)專(zhuān)業(yè)碩士,《機(jī)器學(xué)習(xí)測(cè)試入門(mén)與實(shí)踐》作者之一。目前,擔(dān)任融360技術(shù)總監(jiān),主要負(fù)責(zé)AI風(fēng)控產(chǎn)品、用戶(hù)產(chǎn)品和基礎(chǔ)架構(gòu)的質(zhì)量保障工作。曾在阿里本地生活擔(dān)任高級(jí)技術(shù)經(jīng)理,負(fù)責(zé)用戶(hù)產(chǎn)品、新零售產(chǎn)品的質(zhì)量保障工作。擁有9年多的測(cè)試開(kāi)發(fā)工作經(jīng)驗(yàn),曾多次受邀在行業(yè)技術(shù)大會(huì)(如MTSC、GITC、Top100、TiD、A2M和TICA等)上做主題分享。對(duì)大數(shù)據(jù)、機(jī)器學(xué)習(xí)測(cè)試技術(shù)有深刻理解,并長(zhǎng)期專(zhuān)注于質(zhì)量保障與工程效能領(lǐng)域。 陳高飛,東北大學(xué)計(jì)算機(jī)技術(shù)專(zhuān)業(yè)碩士,《機(jī)器學(xué)習(xí)測(cè)試入門(mén)與實(shí)踐》作者之一。目前,擔(dān)任融360測(cè)試開(kāi)發(fā)工程師,主要從事機(jī)器學(xué)習(xí)方向的測(cè)試開(kāi)發(fā)工作。擅長(zhǎng)白盒測(cè)試、大數(shù)據(jù)測(cè)試和模型測(cè)試,在工具平臺(tái)開(kāi)發(fā)方面有豐富的實(shí)踐經(jīng)驗(yàn)。 郝嶸,北京信息科技大學(xué)自動(dòng)化專(zhuān)業(yè)碩士,《機(jī)器學(xué)習(xí)測(cè)試入門(mén)與實(shí)踐》作者之一。目前,擔(dān)任融360高級(jí)測(cè)試開(kāi)發(fā)工程師,主要負(fù)責(zé)大數(shù)據(jù)方向的測(cè)試開(kāi)發(fā)工作。擅長(zhǎng)Python開(kāi)發(fā)、大數(shù)據(jù)測(cè)試和機(jī)器學(xué)習(xí)測(cè)試,主導(dǎo)了多個(gè)工具平臺(tái)的開(kāi)發(fā),在大數(shù)據(jù)質(zhì)量保障方面有豐富的實(shí)踐經(jīng)驗(yàn)。 雷天鳴,哈爾濱理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè)碩士,《機(jī)器學(xué)習(xí)測(cè)試入門(mén)與實(shí)踐》作者之一。目前,擔(dān)任融360測(cè)試開(kāi)發(fā)工程師,主要從事機(jī)器學(xué)習(xí)方向的測(cè)試開(kāi)發(fā)工作。擅長(zhǎng)大數(shù)據(jù)測(cè)試、特征測(cè)試和模型算法評(píng)測(cè)等,對(duì)金融風(fēng)控業(yè)務(wù)有深刻理解。 李曼曼,融360高級(jí)測(cè)試開(kāi)發(fā)工程師,《機(jī)器學(xué)習(xí)測(cè)試入門(mén)與實(shí)踐》作者之一。擁有近11年的測(cè)試開(kāi)發(fā)工作經(jīng)驗(yàn),主導(dǎo)了多個(gè)工具平臺(tái)的開(kāi)發(fā)和大型項(xiàng)目的測(cè)試工作。擅長(zhǎng)白盒測(cè)試、性能測(cè)試、自動(dòng)化測(cè)試、持續(xù)集成和工程效能,在大數(shù)據(jù)和特征模型測(cè)試方面有豐富的實(shí)踐經(jīng)驗(yàn)。 馬綿,陜西科技大學(xué)網(wǎng)絡(luò)工程專(zhuān)業(yè)學(xué)士,融360測(cè)試開(kāi)發(fā)工程師。目前主要從事服務(wù)端測(cè)試開(kāi)發(fā)工作,擅長(zhǎng)自動(dòng)化測(cè)試、安全測(cè)試,在服務(wù)穩(wěn)定性保障方面有豐富的實(shí)踐經(jīng)驗(yàn)。 孫冰妍,東北大學(xué)通信與信息系統(tǒng)專(zhuān)業(yè)碩士,融360測(cè)試開(kāi)發(fā)工程師。目前主要從事服務(wù)端測(cè)試開(kāi)發(fā)工作,擅長(zhǎng)白盒測(cè)試、自動(dòng)化測(cè)試、性能測(cè)試、安全測(cè)試和持續(xù)集成。參與了多個(gè)工具平臺(tái)的開(kāi)發(fā),并主導(dǎo)了多個(gè)大型項(xiàng)目的測(cè)試工作。對(duì)大數(shù)據(jù)測(cè)試技術(shù)有深刻理解。 孫金娟,山西財(cái)經(jīng)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè)學(xué)士,《機(jī)器學(xué)習(xí)測(cè)試入門(mén)與實(shí)踐》作者之一。目前,擔(dān)任融360測(cè)試開(kāi)發(fā)工程師,有近9年的Java開(kāi)發(fā)、測(cè)試開(kāi)發(fā)工作經(jīng)驗(yàn)。擅長(zhǎng)大數(shù)據(jù)測(cè)試和工具平臺(tái)開(kāi)發(fā),對(duì)機(jī)器學(xué)習(xí)、特征模型測(cè)試有深刻理解。 張咪,北京交通大學(xué)通信與信息系統(tǒng)專(zhuān)業(yè)碩士,《機(jī)器學(xué)習(xí)測(cè)試入門(mén)與實(shí)踐》作者之一。目前,擔(dān)任融360測(cè)試經(jīng)理,主要負(fù)責(zé)用戶(hù)產(chǎn)品的質(zhì)量保障工作,曾負(fù)責(zé)基礎(chǔ)架構(gòu)、SRE(Site Reliability Engineering,網(wǎng)站可靠性工程)等方面的測(cè)試開(kāi)發(fā)工作。在自動(dòng)化測(cè)試、服務(wù)穩(wěn)定性、專(zhuān)項(xiàng)測(cè)試和工程效能等方面有豐富的實(shí)踐經(jīng)驗(yàn),曾受邀在行業(yè)技術(shù)大會(huì)(如MTSC、A2M等)做主題分享。對(duì)大數(shù)據(jù)、機(jī)器學(xué)習(xí)測(cè)試有深刻的理解,并在這些領(lǐng)域擁有豐富的實(shí)踐經(jīng)驗(yàn)。 張朋周,中國(guó)地質(zhì)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè)碩士,《機(jī)器學(xué)習(xí)測(cè)試入門(mén)與實(shí)踐》作者之一。目前,擔(dān)任融360高級(jí)測(cè)試開(kāi)發(fā)工程師,曾在百度從事搜索業(yè)務(wù)測(cè)試開(kāi)發(fā),有近9年的開(kāi)發(fā)測(cè)試工作經(jīng)驗(yàn)。目前,主要負(fù)責(zé)機(jī)器學(xué)習(xí)方向的測(cè)試開(kāi)發(fā)工作,主導(dǎo)了多個(gè)工具平臺(tái)的開(kāi)發(fā),在數(shù)據(jù)質(zhì)量保障、模型評(píng)估平臺(tái)方面有豐富的實(shí)踐經(jīng)驗(yàn)。
目 錄 第 1章 認(rèn)識(shí)大數(shù)據(jù)/1 1.1 大數(shù)據(jù)概述/1 1.2 大數(shù)據(jù)的發(fā)展/2 1.3 大數(shù)據(jù)的應(yīng)用/4 1.3.1 互聯(lián)網(wǎng)領(lǐng)域/4 1.3.2 物流領(lǐng)域/5 1.3.3 教育領(lǐng)域/6 1.3.4 金融領(lǐng)域/7 1.3.5 電信領(lǐng)域/7 1.4 本章小結(jié)/8 第 2章 大數(shù)據(jù)技術(shù)生態(tài)/9 2.1 大數(shù)據(jù)技術(shù)生態(tài)總覽/9 2.2 大數(shù)據(jù)采集技術(shù)/10 2.3 大數(shù)據(jù)存儲(chǔ)技術(shù)/10 2.3.1 分布式文件系統(tǒng):HDFS/10 2.3.2 海量數(shù)據(jù)列式存儲(chǔ): HBase/13 2.3.3 其他數(shù)據(jù)存儲(chǔ)技術(shù)/18 2.4 大數(shù)據(jù)計(jì)算分析技術(shù)/19 2.4.1 批處理計(jì)算的基石:MapReduce/19 2.4.2 流計(jì)算的代表:Storm、Spark Streaming和Flink/21 2.4.3 OLAP引擎:Hive、Impala和Presto/24 2.5 大數(shù)據(jù)管理調(diào)度技術(shù)/30 2.5.1 分布式集群資源調(diào)度框架:YARN/30 2.5.2 容器集群管理系統(tǒng):Kubernetes/32 2.5.3 大數(shù)據(jù)的"動(dòng)物園管理員":ZooKeeper/33 2.5.4 常用的工作流調(diào)度平臺(tái):Azkaban、Oozie和Airflow/34 2.6 大數(shù)據(jù)商業(yè)產(chǎn)品/36 2.7 本章小結(jié)/38 第3章 數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)與構(gòu)建/39 3.1 數(shù)據(jù)倉(cāng)庫(kù)概述/39 3.1.1 什么是數(shù)據(jù)倉(cāng)庫(kù)/39 3.1.2 數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展過(guò)程/41 3.1.3 數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)的區(qū)別/43 3.2 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)/44 3.2.1 架構(gòu)分層設(shè)計(jì)/44 3.2.2 數(shù)據(jù)模型設(shè)計(jì)/46 3.3 數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建/50 3.3.1 數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建方法與評(píng)價(jià)標(biāo)準(zhǔn)/50 3.3.2 數(shù)據(jù)倉(cāng)庫(kù)實(shí)例/51 3.4 本章小結(jié)/58 第4章 大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)流程/59 4.1 大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)概覽/59 4.2 數(shù)據(jù)的采集與存儲(chǔ)/60 4.2.1 服務(wù)端日志采集/61 4.2.2 客戶(hù)端日志采集/62 4.2.3 數(shù)據(jù)同步/64 4.2.4 大數(shù)據(jù)存儲(chǔ)/66 4.3 大數(shù)據(jù)計(jì)算/67 4.4 大數(shù)據(jù)監(jiān)控/71 4.4.1 數(shù)據(jù)監(jiān)控/71 4.4.2 運(yùn)維監(jiān)控/72 4.5 大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)案例/73 4.5.1 項(xiàng)目背景介紹/74 4.5.2 項(xiàng)目需求分析/74 4.5.3 項(xiàng)目開(kāi)發(fā)流程/76 4.6 本章小結(jié)/83 第5章 大數(shù)據(jù)測(cè)試方法/84 5.1 大數(shù)據(jù)測(cè)試概述/84 5.1.1 什么是大數(shù)據(jù)測(cè)試/84 5.1.2 大數(shù)據(jù)測(cè)試與傳統(tǒng)數(shù)據(jù)測(cè)試/84 5.2 大數(shù)據(jù)測(cè)試類(lèi)型/85 5.2.1 功能測(cè)試/85 5.2.2 性能測(cè)試/89 5.2.3 其他非功能性測(cè)試/93 5.3 大數(shù)據(jù)測(cè)試流程/94 5.4 大數(shù)據(jù)基準(zhǔn)測(cè)試/96 5.4.1 大數(shù)據(jù)基準(zhǔn)測(cè)試簡(jiǎn)介/97 5.4.2 大數(shù)據(jù)基準(zhǔn)測(cè)試的步驟/97 5.4.3 大數(shù)據(jù)基準(zhǔn)測(cè)試工具/98 5.5 大數(shù)據(jù)ETL測(cè)試/100 5.5.1 大數(shù)據(jù)ETL測(cè)試類(lèi)型/100 5.5.2 大數(shù)據(jù)ETL測(cè)試場(chǎng)景/103 5.5.3 大數(shù)據(jù)ETL測(cè)試工具/107 5.6 大數(shù)據(jù)測(cè)試總結(jié)/108 5.6.1 大數(shù)據(jù)測(cè)試中的典型問(wèn)題/108 5.6.2 大數(shù)據(jù)測(cè)試經(jīng)驗(yàn)總結(jié)/112 5.6.3 大數(shù)據(jù)測(cè)試面臨的挑戰(zhàn)/113 5.7 本章小結(jié)/113 第6章 大數(shù)據(jù)測(cè)試實(shí)踐/114 6.1 BI報(bào)表測(cè)試/114 6.1.1 BI工具簡(jiǎn)介/114 6.1.2 Tableau簡(jiǎn)介/115 6.1.3 BI報(bào)表測(cè)試實(shí)踐/120 6.2 數(shù)據(jù)挖掘產(chǎn)品測(cè)試/128 6.2.1 數(shù)據(jù)挖掘的定義和流程/128 6.2.2 數(shù)據(jù)挖掘產(chǎn)品簡(jiǎn)介/129 6.2.3 數(shù)據(jù)挖掘產(chǎn)品測(cè)試實(shí)踐/130 6.3 用戶(hù)行為分析平臺(tái)測(cè)試/139 6.3.1 用戶(hù)行為分析平臺(tái)測(cè)試概覽/139 6.3.2 數(shù)據(jù)采集階段測(cè)試/140 6.3.3 實(shí)時(shí)數(shù)據(jù)處理階段測(cè)試/140 6.3.4 離線數(shù)據(jù)處理階段測(cè)試/153 6.3.5 數(shù)據(jù)查詢(xún)展示階段測(cè)試/153 6.4 本章小結(jié)/156 第7章 數(shù)據(jù)質(zhì)量管理/157 7.1 數(shù)據(jù)質(zhì)量管理概述/157 7.2 數(shù)據(jù)質(zhì)量管理流程/158 7.2.1 建立數(shù)據(jù)質(zhì)量管理辦法/159 7.2.2 制定數(shù)據(jù)標(biāo)準(zhǔn)/161 7.2.3 數(shù)據(jù)質(zhì)量自查評(píng)估/162 7.2.4 數(shù)據(jù)質(zhì)量問(wèn)題修復(fù)/170 7.3 本章小結(jié)/173 第8章 大數(shù)據(jù)測(cè)試平臺(tái)實(shí)踐/174 8.1 大數(shù)據(jù)測(cè)試平臺(tái)背景/174 8.2 大數(shù)據(jù)測(cè)試的開(kāi)源技術(shù)調(diào)研/175 8.2.1 great_expectations/176 8.2.2 WeBankFinTech Qualitis/178 8.3 大數(shù)據(jù)測(cè)試的商業(yè)方案分析/181 8.3.1 QuerySurge/182 8.3.2 RightData/184 8.4 從零開(kāi)始搭建大數(shù)據(jù)測(cè)試平臺(tái)/186 8.4.1 需求分析/187 8.4.2 架構(gòu)設(shè)計(jì)/187 8.4.3 功能實(shí)現(xiàn)/189 8.4.4 頁(yè)面演示/196 8.4.5 總結(jié)和展望/201 8.5 本章小結(jié)/203 第9章 數(shù)據(jù)治理平臺(tái)建設(shè)/204 9.1 數(shù)據(jù)治理概述/204 9.1.1 數(shù)據(jù)治理的基本概念/204 9.1.2 數(shù)據(jù)治理的重要意義/205 9.1.3 數(shù)據(jù)治理面臨的主要挑戰(zhàn)/206 9.1.4 如何開(kāi)展數(shù)據(jù)治理/206 9.2 數(shù)據(jù)治理平臺(tái)體系/207 9.3 元數(shù)據(jù)管理平臺(tái)/208 9.3.1 平臺(tái)產(chǎn)生背景/208 9.3.2 平臺(tái)架構(gòu)/208 9.3.3 模塊設(shè)計(jì):數(shù)據(jù)采集/209 9.3.4 模塊設(shè)計(jì):數(shù)據(jù)查詢(xún)/212 9.3.5 模塊設(shè)計(jì):數(shù)據(jù)分析/214 9.4 數(shù)據(jù)質(zhì)量監(jiān)控平臺(tái)/219 9.4.1 平臺(tái)產(chǎn)生背景/219 9.4.2 平臺(tái)架構(gòu)/220 9.4.3 模塊設(shè)計(jì):規(guī)則引擎/221 9.4.4 模塊設(shè)計(jì):任務(wù)中心/230 9.4.5 模塊設(shè)計(jì):報(bào)警系統(tǒng) /230 9.5 本章小結(jié)/232 第 10章 DataOps的理念與實(shí)踐/233 10.1 DataOps概述/233 10.1.1 什么是DataOps/233 10.1.2 為什么需要DataOps/235 10.1.3 DataOps與DevOps、MLOps的聯(lián)系和區(qū)別/237 10.2 DataOps的能力與特性/239 10.2.1 數(shù)據(jù)工程/239 10.2.2 數(shù)據(jù)集成/240 10.2.3 數(shù)據(jù)安全和數(shù)據(jù)隱私保護(hù)/241 10.2.4 數(shù)據(jù)質(zhì)量/242 10.2.5 DataOps的4個(gè)特性/243 10.3 DataOps技術(shù)實(shí)踐/244 10.3.1 DataOps技術(shù)工具/245 10.3.2 數(shù)據(jù)管道技術(shù)示例/246 10.4 本章小結(jié)/253 第 11章 大數(shù)據(jù)測(cè)試的學(xué)習(xí)路線和發(fā)展趨勢(shì)/254 11.1 為什么學(xué)習(xí)大數(shù)據(jù)測(cè)試/254 11.2 如何學(xué)習(xí)大數(shù)據(jù)測(cè)試/255 11.2.1 大數(shù)據(jù)測(cè)試的學(xué)習(xí)路線/255 11.2.2 大數(shù)據(jù)測(cè)試的技能圖譜/259 11.3 大數(shù)據(jù)測(cè)試的發(fā)展趨勢(shì)/269 11.4 本章小結(jié)/270 附錄 大數(shù)據(jù)技術(shù)經(jīng)典面試題/271 參考文獻(xiàn)/276