银行大数据分析 如何将“砒霜”变“蜜糖”?

简介:

《大数据时代》作者维克托·迈尔·舍恩伯格在他的另一本书《删除》中提到“大数据的取舍之道,就是把有意义的留下来,把无意义的去掉,只有理解了在大数据中,需要的是什么,以及如何判断这种需要,才能举一反三地明白到底为什么要去掉那些不需要的。”

传统银行在日积月累的交易中产生了大量数据,在分析和处理这些大数据时,银行面临着很多现实的问题,例如“坏账”数据的处理,银行各部门数据私有化以及部门之间的沟通和配合等问题。来自上海浦东发展银行信息科技部副总经理陆小勇以浦发银行为例,分享了关于银行的大数据思考和应对之道。

“坏账”数据也能变财富?

银行在交易过程中,不可避免地会产生大量“坏账”数据,这些被人们嗤之以鼻的“坏账”数据看似是银行的痛点,但对于银行大数据分析而言,它们可以转变成巨大的财富。银行可以充分利用“坏账”数据训练数据分析模型,测试数据模型分析结果是否达到预期标准。经过“坏账”数据训练和测试的大数据分析模型会更有说服力。

陆小勇表示,进行大数据分析时,数据质量固然重要。但银行不应该把过多精力花在追求“完美”的数据质量上,大数据分析强调“相关性”,允许试错,就好比“沙里淘金”,从大量的“相关性”中总结沉淀出“因果性”,用大量的实践和试错换取数据质量。

他说:“在管理数据质量的时候,治理人员需要思考数据湖、数据水库或是数据沼泽对数据质量的容忍度分别是多少,对其中的数据分别用哪些方法治理。具体到银行产业,交易系统和统计报表强调’因果性‘,要求所有结果可严格回溯到源头(比如总分核对),防止’垃圾进垃圾出‘,特别是参与人、产品、协议、渠道、事件、财务,以及资产、日历、汇/费率等公用信息在内的’主数据‘的质量“。

数据共享才能共赢
随着大数据被赋予更大的价值,数据逐渐成为企业核心竞争力之一。陆小勇揭示了现在银行面临的最大挑战就是数据私有化,所有的分析部门甚至技术团队都希望将收集到的数据以及分析得到的数据掌握在自己手里,但是大数据价值在于数据的共享和关联。

陆小勇介绍了浦发银行数据共享、实现共赢的实践经验。他说,浦发银行信息中心将公司业务部门的数据分享到零售部门,从这些数据中挖掘出更多的零售商机。当然也会将零售部门的交易数据呈现在公司业务部门面前,揭示零售客户行为背后隐藏的企业经营奥秘,帮助业务部门抓住商机,为银行带来更多利益。

陆小勇说:“银行各个部门的角色应该是Data Steward(数据管家),而不是Data Owner(数据拥有者),不要让有价值的数据被‘锁’起来。这样的理念对于营造一个良好的大数据应用文化和氛围来说非常重要”。

没有解决业务痛点 IT难免沦为鸡肋
陆小勇指出,在实现大数据应用的时候,银行经常碰到的问题是业务和IT部门的互相指责。业务部门认为IT部门常常摆出一副“专业的姿态”;IT部门认为业务部门的想法天马行空。

他认为,问题的关键在于IT部门在与业务部门沟通时,说的都是“专业”的话,并没有说让业务“听得懂”的话,没有谈“业务痛点”的话。技术部门应该成为业务部门的“及时雨”,在业务部门需要帮助的时候,解决他们的痛点问题。

陆小勇说:“即使拥有再先进的技术,如果业务部门不懂得运用技术解决问题的话,技术就成为空洞的投资。众多数据仓库的失败,原因就是在技术方面投入大量资金,结果却是技术都过时了,业务部门还不知道怎么用。各个部门应该停止抱怨,选择敏捷的工作方法,将大数据分析工作做好。”

最后,他以国家冰壶队来形容银行大数据团队的建设。他说:“在冰壶比赛中,队员们一旦聚焦目标,不区分谁推谁扫。在银行中可以理解为不严格区分IT和业务部门,大数据团队围绕创造业务价值这个目标,应该做到全面互动协作。要像国家冰壶队一样构建银行的大数据团队。”
本文转自d1net(转载)

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
19天前
|
存储 消息中间件 监控
【Flume】Flume在大数据分析领域的应用
【4月更文挑战第4天】【Flume】Flume在大数据分析领域的应用
|
1月前
|
Cloud Native 数据处理 云计算
探索云原生技术在大数据分析中的应用
随着云计算技术的不断发展,云原生架构作为一种全新的软件开发和部署模式,正逐渐引起企业的广泛关注。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势与挑战,并探讨如何利用云原生技术提升大数据分析的效率和可靠性。
|
1月前
|
存储 消息中间件 大数据
Go语言在大数据处理中的实际应用与案例分析
【2月更文挑战第22天】本文深入探讨了Go语言在大数据处理中的实际应用,通过案例分析展示了Go语言在处理大数据时的优势和实践效果。文章首先介绍了大数据处理的挑战与需求,然后详细分析了Go语言在大数据处理中的适用性和核心技术,最后通过具体案例展示了Go语言在大数据处理中的实际应用。
|
1月前
|
数据采集 运维 数据挖掘
API电商接口大数据分析与数据挖掘 (商品详情店铺)
API接口、数据分析以及数据挖掘在商品详情和店铺相关的应用中,各自扮演着重要的角色。以下是关于它们各自的功能以及如何在商品详情和店铺分析中协同工作的简要说明。
|
3月前
|
关系型数据库 MySQL Serverless
高顿教育:大数据抽数分析业务引入polardb mysql serverless
高顿教育通过使用polardb serverless形态进行数据汇总,然后统一进行数据同步到数仓,业务有明显高低峰期,灵活的弹性伸缩能力,大大降低了客户使用成本。
|
3月前
|
机器学习/深度学习 数据采集 算法
大数据分析技术与方法探究
在当今信息化时代,数据量的增长速度远快于人类的处理能力。因此,如何高效地利用大数据,成为了企业和机构关注的焦点。本文将从大数据分析的技术和方法两个方面进行探究,为各行业提供更好的数据应用方向。
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
大数据分析的技术和方法:从深度学习到机器学习
大数据时代的到来,让数据分析成为了企业和组织中不可或缺的一环。如何高效地处理庞大的数据集并且从中发现潜在的价值是每个数据分析师都需要掌握的技能。本文将介绍大数据分析的技术和方法,包括深度学习、机器学习、数据挖掘等方面的应用,以及如何通过这些技术和方法来解决实际问题。
52 2
|
3月前
|
机器学习/深度学习 人工智能 运维
大数据分析:探索信息世界的钥匙
在当今信息爆炸的时代,大数据分析成为挖掘宝藏般的技术和方法。本文将介绍大数据分析的基本概念、技术与方法,并探讨其在商业、科学和社会领域中的广泛应用。从数据收集和预处理到模型构建和结果解读,大数据分析为我们揭示了信息世界的钥匙,为决策者提供了有力的支持。
|
2月前
|
API
GEE案例分析——利用sentinel-3数据计算空气污染指数(Air Pollution Index,简称API)
GEE案例分析——利用sentinel-3数据计算空气污染指数(Air Pollution Index,简称API)
106 0
|
3月前
|
数据挖掘
离线大数据分析的应用
离线大数据分析的应用