文章编号:2096-1472(2018)-11-42-04
DOI:10.19644/jki.issn2096-1472.2018.11.012
软件工程    SOFTWARE ENGINEERING 第21卷第11期2018年11月
V ol.21  No.11Nov.  2018
商业银行数据仓库系统中ETL 的设计与实现
周  飞,刘梦娜,张  晖,李志刚,曹  帅
(安徽建筑大学电子与信息工程学院,安徽 合肥 230601)
摘  要:本文基于国内某商业银行数据中心的新核心系统项目,首先介绍近年来数据仓库的国内外发展状况,其次根据商业银行各业务系统的特点,分析出建设商业银行数据仓库的重大意义和存储规划。最后详细介绍了数据调度ETL系统的开发与设计,从各个源系统中抽取数据到数据仓库的实现方法,对银行数据仓库的设计与实现有一定的参考应用价值。
怎么转让主关键词:数据仓库;ETL;商业银行;商业智能中图分类号:TP311    文献标识码:A
Design and Implementation of ETL in the Commercial Bank Data Warehouse System
ZHOU Fei,LIU Mengna,ZHANG Hui,LI Zhigang,CAO Shuai如何设置局域网共享
何润东真实身高(School of Electronic and Information Engineering ,Anhui Jianzhu University ,Hefei 230601,China )残疾证有什么优惠
Abstract:Based on a new Data Warehouse project for a commercial bank's data center in China,the paper firstly introduces the development status of Data Warehouse in recent years.Secondly,according to the characteristics of commercial banks' business systems,it analyzes the storage plan of building a data warehouse system for the commercial bank.In the end,it describes in detail a dispatching system using Extract Transform and Load (ETL) system.The study provides a valid reference for the commercial banks to construct a Data Warehouse system in a complicated environment.
Keywords:data warehouse;ETL;commercial bank;business intelligence第45象>感恩教师节手抄报内容
1  引言(Introduction)
数据仓库是应用于银行业的重要技术。近年来,随着商业银行各业务系统的不断发展,产生了日益庞大的历史数据,这些数据是银行十分重要的战略资源,将这些重要的业务数据存储于数据仓库中统一
管理,进行数据分析,挖掘出其中潜在的重要的商业信息,可以很好的辅助银行领导层管理决策,解决银行最紧迫的问题,使银行的经济效益最大化,从而使银行更好更快的发展。在大数据时代下,基于数据仓库的数据挖掘是银行业之间竞争的重要工具[1]
在1990年Bill Inmon提出了一种新的数据库技术,即数据仓库,目的是用来存储和组织各业务系统的海量数据,并对数据进行分析。ETL(Extract,Transform,Load)系统工具专用于业务数据到数据仓库中存储的处理过程,在数据源和数据仓库之间起到了桥梁和纽带的作用,直接影响数据仓库的建设和运行。对于ETL系统的研究和开发是建设数据仓库必须考虑的重要问题,通过改进ETL技术提高数据的传输和存储效率,是建设商业银行数据仓库永恒的目标,能更好的促进银行业的发展。
2  ETL 技术简介(Introduction of ETL technology)
完整的数据仓库系统如图1所示,数据的ETL是建立数据仓库系统的第一步[2,3],是应用于数据仓库项目的重要步骤,为后续的数据挖掘和决策支持做好准备。
数据仓库中数据的调度工作是通过E T L 工具来实现的。ETL是数据调度系统三个阶段抽取(Extract)、转换(Transform)、装载(Load)的英文首字母缩写[4,5]。下面我们来简要的介绍ETL的三个阶段。
图1 数据仓库系统
Fig.1 Data warehouse system
基金项目:安徽省自然科学基金项目(项目编号:1508085MF114).