华夏银行:大数据时代 商业银行该如何治理海量数据?

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介:

ZD至顶网CIO与应用频道 03月11日 北京消息:

“激烈的市场竞争趋势和日趋严格的外部监管要求,对我们商业银行数据的准确性提出了更高的要求。在大数据时代,如何有效治理结构化、半结构化和非结构化的海量数据,是我们现在重点考虑的问题。为保证数据的健康发展,我们将通过建立健全的大数据治理体系,推动业务发展的全面提升。”

——华夏银行股份有限公司架构部

商业银行的新课题

华夏银行股份有限公司(以下简称华夏银行)是一家综合实力非常强的全国性股份制商业银行。经过20多年的发展,目前,华夏银行在87个中心城市设立了38家一级分行、43家二级分行和10家异地支行,营业网点达到638家,形成了“立足经济发达城市,辐射全国”的机构体系;与境外1千多家银行建立了代理业务关系,代理行网络遍及五大洲115个国家和地区的329个城市,建成了覆盖全球主要贸易区的结算网络。

目前,华夏银行总资产已达到19501.15亿,并且其资产规模始终保持着稳步增长,盈利能力逐年提升。如此迅猛的发展态势,一定程度上要归功于其强大的时代适应能力和前瞻性的预见能力。

在大数据时代的冲击下,华夏银行意识到,跟随时代发展,将企业管理高度信息化,将是国内银行向“以客户为中心”转型的必由之路,善于高效运用海量数据的金融机构,将会在未来的竞争中脱颖而出,大数据应用也将成为商业银行获取差异化竞争优势的重要途径。而大数据应用的前提是要具备高质量的数据,要优选高质量的数据,无疑要采用“大数据治理”这一基石和关键平台。

大数据治理下的商机洞察

随着金融创新的快速发展和信息科技的日新月异,商业银行积累的数据量呈现几何倍数的增长,数据来源从传统的结构化数据逐渐扩展到以网络日志、社交媒体为代表的半结构化和非结构化数据。大数据治理能够降低海量数据带来的各种噪声,解决日益突出的数据质量问题。大数据治理,究竟能给商业银行带来什么样的收益?结合商业银行涉及到的具体业务,我们从以下三个方面开展了业务场景分析。

在客户营销方面,商业银行可收集互联网上客户的消费频率、消费地点等信息,通过大数据治理平台,对获取到的海量数据进行质量把关,排除冗杂数据,更精准地获知客户行为,洞察客户情感与情绪,预测客户未来需求,并及时提供与之匹配的金融产品和个性化服务,提升客户满意度。

在风险管理方面,银行可利用互联网上的各类信息,利用大数据治理平台的文本分析能力,对非结构化信息进行梳理,精准地计算出客户的信用情况和违约概率,构建出新的信用评价模型,打造智能化引擎支持的“直通式”全流程在线融资服务模式,最大化提高融资效率,降低信贷风险。

在IT管控方面,在大数据的推动下,银行数据资产变得日益复杂,而与企业的其他资产不同,银行难以直接了解到自身数据资产的总体情况,大数据治理平台可以对整个企业的数据资产进行可视化展现,不仅可以帮助银行了解其内部的大数据资产情况,还能够进一步加强银行对复杂数据资产的管控能力。

除此之外,大数据治理还可以应用于反欺诈的实时可靠监控、客户流失的精准预测、增值服务的有效化提升等方面,全面提高银行的经营和服务能力。

治理有道,体系先行

大数据治理相关工作需要从管理和技术两个维度同时展开才可能达到预期效果。首先,银行需要建立完善的大数据治理管理体系,包括大数据管理规范与流程的制定、大数据标准体系的建设、大数据质量的规划等。同时,需要完善的大数据治理技术平台支撑,从技术层面落地管理体系内容,控制数据质量,辅助数据标准实施落地,形成自动化的管控能力。

华夏银行:大数据时代 商业银行该如何治理海量数据?

1、 制定科学的大数据管理规范与流程

大数据管控的核心是建立统一的企业级管理规范与流程体系,通过全行范围数据的有机共享,可有效提高数据的管理和使用水平。银行需要为大数据治理的开展提供有据可依的管理办法,明确大数据治理的业务流程和认责体系,并颁布大数据治理的规章制度政策。

2、 构建完整的数据标准体系

结合大数据治理平台的建设,依据数据标准管理的相关办法,落实数据标准管理相关人员的职责,紧扣数据标准管理的流程规范,持续对已有的数据标准管理框架进行优化,并使之真正成为可落地执行的框架体系。

3、 制定前瞻性的大数据质量规划

制定前瞻性的大数据质量规划是做好大数据质量管理的前提和基础。大数据的管理和应用要纳入商业银行全行统一的数据质量规划范畴。新建项目的业务范围和系统规划必须完全参照已正式发布的数据标准,已经建设完成的系统需在数据质量规划的要求下酌情进行适应性改造。

平台支撑,以行践言

管理体系的实际实施,需要技术平台的支撑。以银行业务的安全稳定运营为前提,为满足其在客户营销、风险管理、IT管控等方面的多重需要,大数据治理平台相关技术需要围绕大数据整个生命周期,以元数据管理为核心,建立数据标准的全流程管理和高效的智能化海量数据质量管理能力,并提供大数据全过程的追溯能力。

1、自动化的元数据管理

元数据管理是大数据治理平台的核心部分,为集中管理全行元数据,元数据管理部分提供了全自动化的元数据采集能力和元数据版本管理能力,以及大数据地图的自动展现能力,最大限度地实现了系统化的管理流程,通过人性化的元数据查询、分析和维护手段,确保元数据的有效应用,确保华夏银行元数据管理方案的贯彻执行。

2、全流程的数据标准管理

平台的数据标准管理为全行的数据标准提供了保证,最大限度地实现了自动化的管理流程,保证了数据标准应用的效率和效果。特别在标准落地方面,将数据标准与元数据管理紧密配合,通过元数据的核心技术手段检查数据标准的落地情况,从而能够在数据生命周期的中的多个阶段(如计划、规范定义、开发上线等),检查系统数据模型的合规性,确保数据标准落地。

3、智能化的数据质量管理

数据质量管理提供了统一的数据质量检核体系,对各数据质量统一汇总分析并形成分析报告,提供了数据质量规则引擎和基于模板化的配置,提供了复杂的度量规则和检核方法生成机制,提高了效率。同时在大数据环境中,数据质量检核方法需要智能化的检核方法发现能力支撑,高效智能地对海量数据进行质量检查。

华夏银行架构部表示:“通过本次合作,我们了解到普元在数据治理方面已经积累了相当多的经验,与其他公司相比,其大数据治理思路非常清晰。项目完工后,我们最终实现了企业级的数据管控,将以往杂乱无章的线下流程转换成合理规范的线上流程,形成了一套完整的管理体系,实现了高效的业务协同。这为我们日后快速响应市场变化提供了强有力的支撑。”

原文发布时间为:2016年3月11日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
存储 监控 大数据
数据仓库(11)什么是大数据治理,数据治理的范围是哪些
什么是数据治理,数据治理包含哪些方面?大数据时代的到来,给了我们很多的机遇,也有很多的挑战。最基础的调整也是大数据的计算和管理,数据治理是一个特别重要的大数据基础,他保证着数据能否被最好的应用,保证着数据的安全,治理等。那么数据治理到底能治什么,怎么治?
64 0
|
5月前
|
大数据
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第14章大数据与数据科学篇
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第14章大数据与数据科学篇
|
9月前
|
SQL 分布式计算 大数据
大数据面试题:Hive count(distinct)有几个reduce,海量数据会有什么问题
count(distinct)只有1个reduce。 为什么只有一个reducer呢,因为使用了distinct和count(full aggreates),这两个函数产生的mr作业只会产生一个reducer,而且哪怕显式指定set mapred.reduce.tasks=100000也是没用的。 当使用count(distinct)处理海量数据(比如达到一亿以上)时,会使得运行速度变得很慢,熟悉mr原理的就明白这时sql跑的慢的原因,因为出现了很严重的数据倾斜。
|
10月前
|
数据采集 缓存 大数据
大数据软件、阿里云大数据快速解决海量数据
大数据软件、阿里云大数据快速解决海量数据
|
11月前
|
分布式计算 DataWorks 关系型数据库
带你读《全链路数据治理-全域数据集成》之22:1. 背景信息
带你读《全链路数据治理-全域数据集成》之22:1. 背景信息
168 0
|
11月前
带你读《全链路数据治理-全域数据集成》之23:2. 使用限制
带你读《全链路数据治理-全域数据集成》之23:2. 使用限制
133 0
|
11月前
|
分布式计算 DataWorks 关系型数据库
带你读《全链路数据治理-全域数据集成》之24:3. 准备工作:添加数据源
带你读《全链路数据治理-全域数据集成》之24:3. 准备工作:添加数据源
157 0
|
11月前
|
SQL 分布式计算 DataWorks
带你读《全链路数据治理-全域数据集成》之25:4. 配置任务
带你读《全链路数据治理-全域数据集成》之25:4. 配置任务
199 1
|
11月前
|
运维 DataWorks 调度
带你读《全链路数据治理-全域数据集成》之26:5. 提交执行任务
带你读《全链路数据治理-全域数据集成》之26:5. 提交执行任务
165 0
|
11月前
|
存储 分布式计算 运维
带你读《全链路数据治理-全域数据集成》之32:1. 背景信息
带你读《全链路数据治理-全域数据集成》之32:1. 背景信息
155 0