集团型企业大数据平台建设的演进路径

简介:

随着大数据等技术的成熟,信息化建设的重心将逐步从IT(信息技术)向DT(数据技术)转化,从以流程为中心向以数据中心转化,未来信息化建设的重心将是如何对组织内外部的数据进行深入、多维、实时的挖掘和分析,以满足决策层的需求,推动信息化向更高层面进化。大数据应用(BDA)是集团型企业应用的新方向,大数据应用架构也成为新一代集团型企业应用架构的核心,其一般由业务架构、数据架构和技术架构组成。

业务是大数据应用的目的。大数据目的是“针对正确的人,在正确的时间,获得正确的信息”,其本质为服务于业务的,大数据分析的目的也是为了管理提升或业务创新。通过大数据分析,要发现业务活动的规律和其中蕴含的信息价值。这种应用,带来了巨大的商业价值,其本质就是为业务需要从大数据中提取出洞察力。

数据是大数据应用的前提。数据不只是业务系统中的数据,它们可能来自互联网、移动互联网、社区网络、物联网上的各个角落,采集这些数据本身就是一件复杂的事情,更何况还要对它们进行处理和分析。积累数据成为业务分析的关键,再通过将客户细分、聚类、相关性分析、预测分析等相关的数据算法,使积累的数据产生价值。

技术是大数据应用的基础。大数据有2个特点:一是处理的数据是大体量(TB级以上)、结构类型复杂(非结构化为主)、数据变化快;二是所采用的技术是分布式技术,包括分布式文件系统、分布式计算框架、分布式存储和分布式查询分析等。数据与业务、技术的关系是,大数据处理的业务目的是发现大数据中的“信息”和“知识”,大数据对技术的要求是能够高效地处理这么复杂的数据。

随着数据量的累积和大数据处理技术的成熟,未来企业信息化建设将从关注系统实施向关注数据分析方向转化,大数据应用成为新的重心,集团型企业大数据平台建设的演进路径一般分五步。

第一咨询规划。大数据应用,从大数据咨询起步,这是一个事半功倍的作法。大数据的建设、实施和应用需要专业的分析、规划和设计,否则成为一种门面。为了帮助用户破解这一难题,大数据咨询服务正被用户广泛采用。大数据咨询旨在帮助用户分析业务需求,梳理数据类型,确定分析模型,设计技术架构,选择实施路径。通过大数据解决方案的规划和设计,让用户在大数据建设和应用中掌握主动,稳步推进。

第二管理配套。企业大数据建设是一个漫长、艰苦的过程。在这个过程中,将面临许多困难的挑战,面对这些困难,需要组织、文化、制度、流程、考核各方面的保障体系建设。企业领导需要加强协调力度,保证业务部门、信息部门等部门在友好的氛围下通力合作,同时企业需要具有业务管理经验和数据管理经验的人才参与工作并加强参与人员的培训教育工作。只有这样,才可以保证大数据建设的顺利进行。

第三平台建设。基于大数据平台咨询设计的成果,进行大数据的建设和实施。从实现技术手段、业务属性、管理单位等角度考虑,划分出需要重点关注的若干个核心应用系统和平台,并根据应用系统和平台的功能关联性、工程建设要求等特点,将核心应用系统和平台归纳成若干重点的项目,再根据优先次序,明确在近期、中期、远期分阶段启动的工程项目。

第四业务建模。梳理数据类型,确定分析模型,这属于数据建模的范畴。对现实世界各类数据的抽象组织,确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。将经过系统分析后抽象出来的概念模型转化为物理模型。数据建模常常促使企业认识到数据系统是如何相互依存的,并且鼓励企业抓住协调后的业务建模所带来的效率提高、成本节约和战略性机遇。

第五决策分析。用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理(这时信息变为辅助决策的知识),最后将知识呈现给管理者,为管理者的决策过程提供数据支持。

本文转自d1net(转载)

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
4月前
|
存储 SQL 分布式计算
开源大数据比对平台设计与实践—dataCompare
开源大数据比对平台设计与实践—dataCompare
65 0
|
4月前
|
SQL 存储 大数据
某互联网大厂亿级大数据服务平台的建设和实践
某互联网大厂亿级大数据服务平台的建设和实践
67 0
|
4月前
|
SQL 大数据 关系型数据库
开源大数据比对平台(dataCompare)新版本发布
开源大数据比对平台(dataCompare)新版本发布
68 0
|
4月前
|
SQL 存储 分布式计算
从0到1介绍一下开源大数据比对平台dataCompare
从0到1介绍一下开源大数据比对平台dataCompare
104 0
|
7月前
|
分布式计算 Java 大数据
大数据常用调度平台
大数据常用调度平台
196 0
|
6月前
|
存储 云安全 大数据
【云计算和大数据平台】云计算平台和大数据平台(如阿里云、腾讯云、华为云等)的搭建和使用方法
【云计算和大数据平台】云计算平台和大数据平台(如阿里云、腾讯云、华为云等)的搭建和使用方法
220 0
|
5月前
|
人工智能 Cloud Native 大数据
构建高性能云原生大数据处理平台:融合人工智能优化数据分析流程
构建高性能云原生大数据处理平台:融合人工智能优化数据分析流程
188 0
|
2月前
|
监控 物联网 大数据
智慧工地管理平台系统源码基于物联网、云计算、大数据等技术
智慧工地平台APP通过对施工过程人机料法环的全面感知、互联互通、智能协同,提高施工现场的生产效率、管理水平和决策能力,实现施工管理的数字化、智能化、精益化。
51 0
|
3月前
|
SQL 分布式计算 HIVE
开源湖仓一体平台(二):Arctic(上篇)
开源湖仓一体平台(二):Arctic(上篇)
开源湖仓一体平台(二):Arctic(上篇)
|
3月前
|
SQL 消息中间件 分布式计算
开源湖仓一体平台(一):LakeSoul
开源湖仓一体平台(一):LakeSoul