《企业大数据系统构建实战:技术、架构、实施与应用》——第1章 企业大数据战略定位 1.1 宏观

简介:

本节书摘来自华章计算机《企业大数据系统构建实战:技术、架构、实施与应用》一书中的第1章,第1.1节,作者 吕兆星 郑传峰 宋天龙 杨晓鹏,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

第1章

企业大数据战略定位

企业大数据的战略定位,决定了企业大数据发展的可行性、持续性、稳定性和高效性,但如果要明确大数据战略定位,我们首先要了解什么是大数据,大数据平台技术与传统数据库的区别是什么?为什么要做大数据,大数据可以解决什么问题?

本章将从宏观和微观两个层面介绍企业大数据的战略定位,试图剖析如何将大数据摆在企业发展的正确位置上,以及如何统筹不同资源协同大数据的工作关系并最大化大数据价值。

1.1 宏观

大数据定义多种多样,其中较为典型的有:

研究机构Gartner给出了这样的定义:需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

麦肯锡全球研究所给出的定义:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

笔者认为:大数据是指无法用常规数据工具软件进行获取、存储、计算和管理的数据集合,是需要新IT技术才能使其具备更好的洞察发现力、流程优化能力,并提供智能决策力,以此来适应大量、高增长、多样化和有价值的信息资产。

大数据具有如下特征:

  • 容量(Volume):传统数据库容量一般以MB和GB为计量单位,而大数据是以GB、TB和PB为计量单位。
  • 种类(Variety):数据类型多种多样,包含结构化、半结构化和非结构化,例如文本、日志、图片、音频和视频等。
  • 速度(Velocity):指数据的响应速度,包括数据获取速度和数据输出速度都要优于传统数据库。
  • 真实性(Veracity):大数据存在噪声较多,需要经过筛选、填充和删除的过程,确保数据的真实性和有效性。
  • 复杂性(Complexity):数据量巨大,来源多渠道,包括自有数据、网络数据、合作伙伴数据,同时数据质量和类型又加深了大数据的复杂性。
  • 价值(Value):大数据蕴藏着既定的价值,价值程度取决于应用数据的对象,通过合理的商业目标即可挖掘出数据潜藏的金矿。

大数据平台技术与传统数据库的差异如表1-1所示。

image

大数据具有很多传统数据库不具备的优点,那么大数据可以解决哪些问题?

  • 连接数据孤岛:将企业各个孤立的信息孤岛进行连接,实现数据信息正向和反向的查询,由原来的单一信息查阅,变为全景式的鸟瞰企业数据内容。
  • 整合信息资源:通过虚拟化技术,整合IT信息资源,有效地展现软硬件和网络资源的使用和计算情况,更加合理地规划和使用IT资源。
  • 内部效率提升:通过信息孤岛的连接,缩短了往常数据提取、存储、整合和计算的时间,根据业务需求的难易程度,通过合理分配离线和实时计算,能够大幅度提高内部效率。
  • 供应链优化:数据连接不是局限于企业内部,而是延伸到企业的上下游,为合作伙伴提供数据共享平台,有利于提升供应链上下游的协同合作,进一步提升供应链效率和效果。
  • 企业业绩增长:大数据的模型算法包含有指导和无指导两种类型,有指导的算法能够帮助企业优化现有的业务流程,从中找到业务规律,更有效地帮助业绩增长,而无指导的算法结合全景式的数据,可以帮助企业找到业务增长或创新点,更好地帮助企业拓宽业务范畴。
  • 用户体验提升:用户包含内部和外部,内部指企业自有的管理人员以及员工,而外部则包含企业面对的客户,以及供应链上下游的合作伙伴,通过大数据全景式的数据集市,为企业用户提供更加完善和流畅的服务,有助于提升整体的体验。
  • 产业服务全景化:企业除了纵向地与上下游伙伴进行数据共享,还有另一种状态,即通过横向与其他伙伴进行数据连接,从而实现全产业的全景数据化。因为大数据最重要的理念是开放、共享和协作,只有连接更多有效有价值的数据才能使企业甚至整个产业屹立不倒。

了解了大数据能够解决的问题,那么企业的大数据战略应该是什么样子的,应该如何对企业大数据战略进行定位?我们需要考虑以下问题,如图1-1所示。

image

企业大数据战略定位可以自下而上或者自上而下地来进行确定,两种方式各有利弊,自下而上容易造成总体战略不明确,从而导致整体战略定位的失败,但自下而上的方式通常是更容易落地执行的办法;自上而下则相反,根据企业在市场中所处的地位、竞争对手情况、宏观经济环境、供应链状态和市场用户的实际需求,大数据的总体目标更能符合企业总体发展战略,但如果战略没能贯彻到底或者在没有获得认可的情况下,这个战略最后是很难落地执行的。因此通常是以自上而下为主,通过自下而上的办法来修正总体大数据战略定位的方式。不论企业最终以哪种方式来确定大数据的战略定位,以下内容都是必须在制定战略时考虑的:

(1)考虑企业有什么数据

数据分为三种类型,第一方数据(企业自有数据)、第二方数据(合作伙伴数据)和第三方数据(互联网数据),企业需要评估自身具备的数据条件(包括数据来源渠道可靠性、数据更新及时性、数据质量有效性、数据内容完整性等),来考虑或者设计规划总体大数据的战略定位,正所谓巧妇难为无米之炊,数据是大数据战略的根本,不清楚数据源的情况,就无法确定整体的大数据战略定位。

(2)通过哪些技术实现

大数据的处理技术多种多样,有硬件虚拟化技术、数据存储技术、数据检索技术、数据计算技术、数据挖掘技术和分布式协调技术等,同时每种技术中也包括各种不同功能的组件,企业应该根据自身的实际需求来选择,盲目贪多,容易导致架构不清晰,甚至影响整体的运行效率,拖累企业大数据战略进程。

(3)如何保证大数据顺利完成

有了数据源和实现技术,企业还需要考虑如何保证大数据战略定位的有效落地,因此,需要加入监督体系,主要是从应用需求的角度出发,明确应用需求的管理模式、管理职能和管理流程,监督体系还应该包含奖惩机制,有效的奖惩机制能够促进整体战略更加快速的推进。因此,通过相应的监督管理机制才能确保整体战略执行的有效性、持续性、稳定性和高效性,同时也可避免技术资源和人力资源的分散所导致的整体战略执行效率低下等问题。

(4)企业大数据的应用策略有哪些

企业大数据的应用策略是与各个职能部门相关的内容,应用策略需要从各职能部门中发起,同时又需要符合企业总体的大数据战略定位,应用策略的把控一般是通过PMO(项目管理办公室)来实现,而PMO需要对企业总体战略以及大数据战略定位非常清晰,这样才能有效地把控各个职能部门的应用策略能够在遵循总体方针的前提下,有效地执行下去,让大数据的应用战略真正地为企业带来效率和效益提升。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
3天前
|
敏捷开发 监控 数据管理
构建高效微服务架构的五大关键策略
【4月更文挑战第20天】在当今软件开发领域,微服务架构已经成为一种流行的设计模式,它允许开发团队以灵活、可扩展的方式构建应用程序。本文将探讨构建高效微服务架构的五大关键策略,包括服务划分、通信机制、数据管理、安全性考虑以及监控与日志。这些策略对于确保系统的可靠性、可维护性和性能至关重要。
|
12天前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架,核心包括MapReduce和HDFS,用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势,但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统,DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
35 2
|
13天前
|
机器学习/深度学习 API 语音技术
|
12天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
4天前
|
消息中间件 监控 持续交付
构建高效微服务架构:后端开发的进阶之路
【4月更文挑战第20天】 随着现代软件开发的复杂性日益增加,传统的单体应用已难以满足快速迭代和灵活部署的需求。微服务架构作为一种新兴的分布式系统设计方式,以其独立部署、易于扩展和维护的特点,成为解决这一问题的关键。本文将深入探讨微服务的核心概念、设计原则以及在后端开发实践中如何构建一个高效的微服务架构。我们将从服务划分、通信机制、数据一致性、服务发现与注册等方面入手,提供一系列实用的策略和建议,帮助开发者优化后端系统的性能和可维护性。
|
1天前
|
监控 API 持续交付
构建高效微服务架构:后端开发的新趋势
【4月更文挑战第23天】 随着现代软件开发实践的不断演进,微服务架构已经成为企业追求敏捷、可扩展和弹性解决方案的首选。本文深入探讨了如何构建一个高效的微服务架构,涵盖了关键的设计原则、技术选型以及实践建议。通过分析微服务的独立性、分布式特性和容错机制,我们将揭示如何利用容器化、服务网格和API网关等技术手段,来优化后端系统的可维护性和性能。文章旨在为后端开发人员提供一套全面的指南,以应对不断变化的业务需求和技术挑战。
|
3天前
|
Cloud Native API 持续交付
构建未来:云原生架构在企业数字化转型中的关键作用
【4月更文挑战第21天】 随着企业加速其数字化转型的步伐,云原生技术已迅速成为推动创新和实现敏捷性的基石。本文深入探讨了云原生架构的核心组件,包括容器化、微服务、持续集成/持续部署(CI/CD)以及声明式API。通过分析这些技术的协同效应,揭示了它们如何共同促进系统的可伸缩性、弹性和维护性,进而支持企业在不断变化的市场环境中保持竞争力。
10 1
|
3天前
|
敏捷开发 Cloud Native 持续交付
构建未来:云原生架构的进化之路
【4月更文挑战第21天】随着数字化转型的深入,企业对IT基础设施的要求日益提高。云原生技术以其灵活性、可扩展性和敏捷性成为推动创新的重要力量。本文将探讨云原生架构的核心组件,分析其如何助力企业实现快速迭代和高效运营,并预测云原生技术的发展趋势。
|
6天前
|
监控 持续交付 开发者
构建高效微服务架构:后端开发的新趋势
【4月更文挑战第18天】在数字化转型的浪潮中,微服务架构已成为企业提升系统灵活性、加速产品迭代的关键。此文深入探讨了构建高效微服务架构的实践方法,包括服务划分原则、容器化部署、持续集成/持续部署(CI/CD)流程以及监控与日志管理等关键技术点。通过分析具体案例,揭示了微服务在提高开发效率、降低维护成本及促进团队协作方面的显著优势。
|
6天前
|
Cloud Native 持续交付 云计算
构建未来:云原生架构在企业数字化转型中的关键作用
【4月更文挑战第18天】 随着企业加速迈向数字化,云原生架构成为推动创新与效率的催化剂。本文深入探讨了云原生技术如何助力企业实现敏捷开发、自动化运维和无缝可扩展性,以及它如何塑造着云计算的未来。我们将通过具体案例分析,揭示云原生架构在处理复杂系统时的灵活性和可靠性,并展望其对业务连续性和安全性的积极影响。
11 1