本書是“銀行業(yè)信息化叢書”之一,數(shù)據(jù)治理是銀行業(yè)面對的一個(gè)嶄新課題,本書從銀行業(yè)數(shù)據(jù)基本概況、數(shù)據(jù)治理現(xiàn)狀,以及銀行業(yè)數(shù)據(jù)治理體系、數(shù)據(jù)架構(gòu)、數(shù)據(jù)標(biāo)準(zhǔn)——元數(shù)據(jù)管理、數(shù)據(jù)安全、銀行業(yè)數(shù)據(jù)質(zhì)量管理體系等方面入手,深入分析了銀行業(yè)如何構(gòu)建一個(gè)適合的管理體系,使數(shù)據(jù)采集與管理、數(shù)據(jù)標(biāo)準(zhǔn)與清洗、數(shù)據(jù)挖掘與應(yīng)用順暢實(shí)現(xiàn),從而提升數(shù)據(jù)價(jià)值,創(chuàng)造更大的價(jià)值,并對大數(shù)據(jù)時(shí)代下的數(shù)據(jù)治理和挑戰(zhàn)進(jìn)行了探討。
前言
全球已進(jìn)入信息高速發(fā)展的時(shí)代,信息化是當(dāng)今世界發(fā)展的根本趨勢,是推動(dòng)經(jīng)濟(jì)社會(huì)變革的重要力量。我國在2006年發(fā)布了《2006—2020年國家信息化發(fā)展戰(zhàn)略》,對我國的信息化發(fā)展進(jìn)行了戰(zhàn)略指導(dǎo)。
為貫徹國家信息化發(fā)展戰(zhàn)略要求,推進(jìn)落實(shí)銀行業(yè)信息化戰(zhàn)略,在銀行業(yè)信息科技風(fēng)險(xiǎn)管理高層指導(dǎo)委員會(huì)指導(dǎo)下,我們著手編寫“銀行業(yè)信息化叢書”,深度挖掘、研究、總結(jié)、提煉和傳播國內(nèi)外信息化最佳實(shí)踐、寶貴經(jīng)驗(yàn)和最新成果,內(nèi)容涵蓋了銀行業(yè)信息科技治理與管理、信息系統(tǒng)開發(fā)與應(yīng)用創(chuàng)新、信息安全、基礎(chǔ)設(shè)施與運(yùn)行維護(hù)、信息科技監(jiān)管等主要領(lǐng)域,將為銀行業(yè)信息科技人才培養(yǎng)提供基礎(chǔ)性、前瞻性、實(shí)用性的知識(shí)和信息!躲y行數(shù)據(jù)治理》的核心是闡述如何對銀行數(shù)據(jù)進(jìn)行全面管理,創(chuàng)造價(jià)值,為銀行業(yè)務(wù)發(fā)展提供全面、高效的數(shù)據(jù)支撐。
商業(yè)銀行在業(yè)務(wù)開展過程中積累了海量的數(shù)據(jù),如客戶數(shù)據(jù)、業(yè)務(wù)交易數(shù)據(jù)、內(nèi)部管理數(shù)據(jù)、外部數(shù)據(jù)、系統(tǒng)日志等。這些數(shù)據(jù)是銀行最為重要的資產(chǎn)之一,是銀行支持精細(xì)化管理、實(shí)現(xiàn)差異化服務(wù)、提升風(fēng)險(xiǎn)分析能力的基礎(chǔ)。然而,海量的數(shù)據(jù)不僅意味著海量的機(jī)遇,也意味著無限的風(fēng)險(xiǎn)。目前,我國商業(yè)銀行普遍面臨著數(shù)據(jù)質(zhì)量不高、數(shù)據(jù)支持決策能力不足等問題,導(dǎo)致數(shù)據(jù)遠(yuǎn)未發(fā)揮其應(yīng)有的價(jià)值,并已經(jīng)成為銀行提高自身競爭力的巨大障礙,主要表現(xiàn)為:缺乏整體數(shù)據(jù)治理戰(zhàn)略和文化、數(shù)據(jù)治理管理流程和職責(zé)劃分不清、數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、數(shù)據(jù)質(zhì)量不高、缺乏配套的技術(shù)和系統(tǒng)支撐等。
如何開展數(shù)據(jù)治理,實(shí)現(xiàn)數(shù)據(jù)對業(yè)務(wù)的價(jià)值創(chuàng)造,是銀行信息化建設(shè)中要破解的一道難題!吨袊y行業(yè)信息科技“十二五”發(fā)展規(guī)劃監(jiān)管指導(dǎo)意見》指出:“商業(yè)銀行要重點(diǎn)加強(qiáng)對數(shù)據(jù)治理的制度建設(shè)和流程建設(shè),建立和完善數(shù)據(jù)治理制度體系,規(guī)范工作流程,理順內(nèi)部協(xié)作關(guān)系,提升數(shù)據(jù)質(zhì)量和數(shù)據(jù)應(yīng)用水平,提高數(shù)據(jù)價(jià)值創(chuàng)造能力。”數(shù)據(jù)治理需要一個(gè)完整的治理體系,并從戰(zhàn)略、機(jī)制、領(lǐng)域、技術(shù)等方面予以支撐。
在信息化快速發(fā)展的今天,銀行的發(fā)展要靠數(shù)據(jù),數(shù)據(jù)要靠治理,治理需出成果,成果需要在實(shí)際應(yīng)用中體現(xiàn),而應(yīng)用應(yīng)與銀行的整體發(fā)展戰(zhàn)略契合,總結(jié)起來即為“銀行靠數(shù)據(jù)、數(shù)據(jù)靠治理、治理出成果、成果靠應(yīng)用、應(yīng)用看前景”。
本書通過闡述數(shù)據(jù)治理的概念和范圍,回顧我國銀行業(yè)數(shù)據(jù)治理歷程,結(jié)合分析各商業(yè)銀行當(dāng)前面臨數(shù)據(jù)治理現(xiàn)狀,全面闡述了商業(yè)銀行數(shù)據(jù)治理體系,提出以戰(zhàn)略、機(jī)制、領(lǐng)域、技術(shù)為支撐的從上至下指導(dǎo)、從下而上推進(jìn)的實(shí)施原則,著重闡述建立多層次、多維度、多視角的全方位商業(yè)銀行數(shù)據(jù)治理體系框架,包括但不限于:以企業(yè)戰(zhàn)略對數(shù)據(jù)治理的目標(biāo)及規(guī)劃為指導(dǎo),以配套的數(shù)據(jù)治理流程為推力,涵蓋完整的數(shù)據(jù)治理領(lǐng)域,積極利用系統(tǒng)和技術(shù)手段保障數(shù)據(jù)治理的有效開展與落實(shí)。
全書共有13個(gè)章節(jié),總體內(nèi)容結(jié)構(gòu)如下:
第1章:銀行的數(shù)據(jù)。闡述什么是數(shù)據(jù)以及數(shù)據(jù)對銀行的作用,還介紹了銀行的數(shù)據(jù)包括什么、有什么特點(diǎn)、管理上存在什么不足,從而使讀者對銀行的數(shù)據(jù)有一個(gè)大概的了解。
第2章:銀行數(shù)據(jù)治理概述。闡述銀行數(shù)據(jù)治理的背景、目標(biāo)及價(jià)值,從數(shù)據(jù)治理的發(fā)展和現(xiàn)狀出發(fā),思考如何對銀行的數(shù)據(jù)進(jìn)行治理。
第3章:銀行數(shù)據(jù)治理保障機(jī)制。介紹確保銀行數(shù)據(jù)治理工作能夠得到有效落實(shí)的保障措施,包括戰(zhàn)略層面、組織機(jī)構(gòu)、制度章程、支撐系統(tǒng)等各個(gè)方面。
第4章至第12章,具體介紹了銀行數(shù)據(jù)治理各個(gè)核心領(lǐng)域(包括數(shù)據(jù)模型、元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)生命周期管理、數(shù)據(jù)分布與存儲(chǔ)、數(shù)據(jù)交換、數(shù)據(jù)安全、數(shù)據(jù)服務(wù))目前存在的問題、治理難點(diǎn)、應(yīng)對措施,使讀者了解到每個(gè)領(lǐng)域的數(shù)據(jù)治理應(yīng)該涉及什么樣的工作、應(yīng)該注意哪些細(xì)節(jié),從而為實(shí)際的數(shù)據(jù)治理實(shí)施提供具體的指導(dǎo)方法。
第13章:數(shù)據(jù)治理展望。數(shù)據(jù)治理的成效要靠數(shù)據(jù)發(fā)揮的價(jià)值來體現(xiàn)。本章介紹了在大數(shù)據(jù)時(shí)代如何進(jìn)一步加強(qiáng)數(shù)據(jù)治理、如何有效地利用數(shù)據(jù),并以大數(shù)據(jù)在金融界的實(shí)際應(yīng)用案例生動(dòng)地說明了只有高質(zhì)量的數(shù)據(jù)才能發(fā)揮數(shù)據(jù)的最大價(jià)值。
本書在編寫過程中得到了銀監(jiān)會(huì)各級領(lǐng)導(dǎo)的大力指導(dǎo),得到了銀行業(yè)同行的有力支持,編寫組所有人員也付出了辛勤汗水,在此對所有編寫與指導(dǎo)人員表示衷心的感謝,包括中國工商銀行的張艷、張穎、羅毅、李偉良、王濤、李甲長、王鵬、喬敏、楊明偉、肖睿、郭斯、鞏壘、王超、袁如怡、高繼榮,中國銀行的張建游、王瑋、曾玉、武曉利、劉曉波,中國郵政儲(chǔ)蓄銀行的汪航、咼亞南、張放、朱昌堆、陳元星,大連銀行的石立軍、于琦等。
盡管編寫人員都投入了大量的精力,付出了艱辛的勞動(dòng),然而由于水平和能力所限,書中錯(cuò)誤和疏漏之處在所難免,懇請大家批評指正。
編者
總序
序
前言
第1章銀行的數(shù)據(jù)1
1.1數(shù)據(jù)、信息和知識(shí)1
1.2銀行的數(shù)據(jù)及作用3
1.2.1銀行數(shù)據(jù)的來源及特征3
1.2.2數(shù)據(jù)對銀行發(fā)展的重要作用7
1.3銀行數(shù)據(jù)管理存在的不足10
第2章銀行數(shù)據(jù)治理概述15
2.1銀行數(shù)據(jù)治理的背景16
2.2銀行數(shù)據(jù)治理的目標(biāo)與價(jià)值19
2.3銀行數(shù)據(jù)治理的歷史與現(xiàn)狀21
2.3.1國際社會(huì)數(shù)據(jù)治理發(fā)展歷程21
2.3.2我國銀行業(yè)數(shù)據(jù)治理前進(jìn)之路23
2.3.3我國銀行數(shù)據(jù)治理的現(xiàn)狀26
2.3.4銀行數(shù)據(jù)治理的思考28
2.4建立銀行數(shù)據(jù)治理體系30
2.4.1銀行數(shù)據(jù)治理保障機(jī)制32
2.4.2銀行數(shù)據(jù)治理核心領(lǐng)域33
第3章銀行數(shù)據(jù)治理保障機(jī)制36
3.1企業(yè)發(fā)展戰(zhàn)略36
3.1.1數(shù)據(jù)治理文化36
3.1.2認(rèn)知與行動(dòng)37
3.2數(shù)據(jù)治理組織37
3.3數(shù)據(jù)治理制度章程39
3.4數(shù)據(jù)治理流程41
3.5數(shù)據(jù)治理支撐系統(tǒng)42
3.6數(shù)據(jù)治理成熟度模型42
第4章數(shù)據(jù)模型45
4.1數(shù)據(jù)模型體系45
4.2數(shù)據(jù)建模的方法、原則及意義47
4.3數(shù)據(jù)模型建模要求48
4.4數(shù)據(jù)模型設(shè)計(jì)實(shí)例50
4.5非結(jié)構(gòu)化數(shù)據(jù)模型60
4.6數(shù)據(jù)模型主題61
第5章元數(shù)據(jù)管理63
5.1元數(shù)據(jù)管理概述65
5.2搭建元數(shù)據(jù)管理體系67
5.3主要元數(shù)據(jù)對象的管理70
5.4非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)管理74
5.5案例75
第6章數(shù)據(jù)標(biāo)準(zhǔn)76
6.1銀行數(shù)據(jù)標(biāo)準(zhǔn)的現(xiàn)狀76
6.2銀行數(shù)據(jù)標(biāo)準(zhǔn)的定義與分類78
6.3銀行數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)80
6.4非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)標(biāo)準(zhǔn)管理86
6.5案例87
第7章數(shù)據(jù)質(zhì)量管理90
7.1商業(yè)銀行數(shù)據(jù)質(zhì)量存在的問題及影響90
7.2建立全面管控的數(shù)據(jù)質(zhì)量管理體系95
7.3非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理102
7.4案例103
第8章數(shù)據(jù)生命周期管理105
8.1數(shù)據(jù)生命周期管理及意義106
8.2銀行業(yè)數(shù)據(jù)生命周期管理的現(xiàn)狀107
8.3建立數(shù)據(jù)生命周期管理體系108
8.4案例118
第9章數(shù)據(jù)分布與存儲(chǔ)120
9.1商業(yè)銀行系統(tǒng)數(shù)據(jù)存儲(chǔ)管理121
9.2商業(yè)銀行系統(tǒng)數(shù)據(jù)分布126
9.2.1總分行數(shù)據(jù)分布126
9.2.2商業(yè)銀行系統(tǒng)主副本數(shù)據(jù)源分布126
9.2.3商業(yè)核心銀行系統(tǒng)與外圍系統(tǒng)間的數(shù)據(jù)分布128
9.3案例128
第10章數(shù)據(jù)交換131
10.1制定數(shù)據(jù)交換的標(biāo)準(zhǔn)132
10.2搭建數(shù)據(jù)交換體系和數(shù)據(jù)交換系統(tǒng)應(yīng)用135
10.3全流程數(shù)據(jù)流管理138
10.4外部數(shù)據(jù)交換139
第11章數(shù)據(jù)安全141
11.1數(shù)據(jù)安全及重要性141
11.1.1數(shù)據(jù)安全的概念141
11.1.2數(shù)據(jù)安全的重要性143
11.1.3數(shù)據(jù)安全的發(fā)展歷程144
11.2數(shù)據(jù)安全領(lǐng)域及管理145
11.2.1數(shù)據(jù)存儲(chǔ)安全145
11.2.2數(shù)據(jù)傳輸安全149
11.2.3數(shù)據(jù)使用安全151
11.3案例154
第12章數(shù)據(jù)服務(wù)158
12.1銀行在大數(shù)據(jù)時(shí)代的戰(zhàn)略應(yīng)對措施158
12.2構(gòu)建大數(shù)據(jù)服務(wù)體系161
12.2.1結(jié)構(gòu)化數(shù)據(jù)處理系統(tǒng)162
12.2.2非結(jié)構(gòu)化數(shù)據(jù)處理系統(tǒng)164
12.2.3流數(shù)據(jù)處理系統(tǒng)165
12.3數(shù)據(jù)資產(chǎn)視圖167
12.4大數(shù)據(jù)在銀行業(yè)的應(yīng)用170
12.4.1國內(nèi)外銀行業(yè)大數(shù)據(jù)應(yīng)用案例170
12.4.2銀行業(yè)大數(shù)據(jù)應(yīng)用場景171
第13章數(shù)據(jù)治理展望175
13.1構(gòu)建銀行數(shù)據(jù)治理的長效機(jī)制175
13.2大數(shù)據(jù)時(shí)代的銀行數(shù)據(jù)治理176
13.3大數(shù)據(jù)時(shí)代的銀行數(shù)據(jù)利用176
附錄180
附錄A《中國銀行業(yè)信息科技“十二五”發(fā)展規(guī)劃監(jiān)管指導(dǎo)意見之大型商業(yè)銀行和股份制
商業(yè)銀行篇》(摘錄)180
附錄B《貸款統(tǒng)計(jì)分類及編碼標(biāo)準(zhǔn)(試行)》(摘錄)190
附錄C《銀行監(jiān)管統(tǒng)計(jì)數(shù)據(jù)質(zhì)量管理良好標(biāo)準(zhǔn)(試行)》(摘錄)192
附錄D推薦讀物195
參考文獻(xiàn)196