使用MaxCompute快速实现企业数据化运营

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 不管是传统企业还是互联网企业,都需要进行数据化运营,基于数据分析的结果进行管理决策。本文介绍如何通过使用阿里云的大数据计算服务MaxCompute、大数据开发套件DataIDE和Quick BI,来帮助企业快速实现数据化的运营。

随着人类社会从IT时代进入到DT时代,现在越来越多的企业开始重视数据的价值,但是并不是所有的企业都能够去挖掘出数据的价值。因此,企业需要通过使用大数据相关的技术对数据进行分析,并通过数据可视化技术将分析结果展现出来,这样才能够让企业负责人快速了解企业自身发展的情况。

以我们的一个客户为例,来看一下如何快速地实现企业数据化运营。我们有一个客户,他们的网站系统部署在阿里云上,其系统架构如下所示:

Max1

随着业务的发展,公司管理层希望了解网站访问的情况,并进行针对性的推广活动。但是,公司的技术人员并不知道如何把数据的结果很直观地展示给管理、运营和市场推广等人员。因此,其决定通过大数据的可视化技术将企业的业务数据化地展示出来。随后,该公司的技术人员对现有可视化技术深入地了解后,得出了以下的结论:

  • 自建系统:搭建周期长,需要雇佣专业的技术人员,同时部署、运维和研发的成本高;
  • 购买成熟的产品:成本比较高且部署比较耗时, 需要专门的技术人员对系统进行维护
  • 第三方数据分析服务:搭建周期短,成本低且不需要对系统本身进行运维
    由于企业的网站部署在阿里云上,并且数据是存储在阿里云的数据库服务RDS中,在尝试了自建Hadoop集群和MongoDB数据库之后,最后决定使用阿里云的MaxCompute对数据进行分析,并使用QuickBI来实现数据可视化展示。

该企业网站现有的数据存储在RDS的数据库中,通过阿里云数据管理服务DMS查看到的数据如下所示:

Max2

为了对业务数据进行分析,需要将数据从RDS导入MaxCompute中,通过大数据开发套件DataIDE可以很容易的实现MaxCompute的数据同步和任务开发。在阿里云官网上进入DataIDE的管理控制台,使用DataIDE对MaxCompute进行管理。在数据集成的模块中,把企业使用的RDS数据库作为数据源添加进来。

max3

然后在数据开发的模块中,通过脚本在MaxCompute中创建和RDS相同的数据表,并通过拖拽的方式实现数据分析的任务开发。

max4

开发完成后,提交并运行任务,从而实现使用MaxCompute对业务数据分析的目的。为了把分析的结果通过图表的形式展现出来,登录到QuickBI的管理控制台,通过“导入数据源”将MaxCompute使用的项目空间创建为新的数据源。

为了展示网站的访问情况和用户信息,分别根据customers、user_measures和refer_info三个表创建数据集:

max5

然后在“仪表板”页面中,分别对三个数据集中的数据进行展示,目前“仪表板”提供了多种图表格式供用户选择使用:

max6

首先,使用饼图展示数据集customers中用户性别比例的分布(0表示性别没有输入,1表示男性,2表示女性):

max7

接着,再分别使用柱状图和饼图展示访问网页的PV/UV和页面访问来源的情况。最终实现的报表如下所示:

max8

为了报表展示的美观性,还可以通过拖拽的方式对图表位置进行排版:

max9

最后对设计的仪表板进行保存,并将仪表板的链接发给管理层、市场推广等相关人员去查看分析的结果。这样,公司管理层可以很容易地根据数据分析报表做出正确的决策,从而实现数据化的运营。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
7月前
|
SQL 存储 监控
大数据Flume企业开发实战
大数据Flume企业开发实战
36 0
|
7天前
|
运维 供应链 大数据
数据之势丨从“看数”到“用数”,百年制造企业用大数据实现“降本增效”
目前,松下中国旗下的64家法人公司已经有21家加入了新的IT架构中,为松下集团在中国及东北亚地区节约了超过30%的总成本,减少了近50%的交付时间,同时,大幅降低了系统的故障率。
|
4月前
|
分布式计算 大数据 数据处理
大数据开发企业级案例__某通信企业数据处理需求(建议收藏)
大数据开发企业级案例__某通信企业数据处理需求(建议收藏)
34 0
|
4月前
|
存储 人工智能 安全
AI大数据分析对企业安全隐私的保护非常重要
AI大数据分析在提供企业发展和决策支持的同时,也涉及到大量的企业数据和用户隐私信息。因此,保护企业安全隐私是非常重要的。
|
7月前
|
机器学习/深度学习 大数据 数据挖掘
大数据及其影响:企业如何充分利用它
大数据及其影响:企业如何充分利用它
|
11月前
|
数据采集 安全 大数据
大数据数据采集的数据来源的第三方服务数据之第三方平台的运营数据
大数据已经成为数字时代最重要的资源之一,而数据采集则是大数据处理的第一步。在实际应用中,大多数企业都需要采集来自不同来源和渠道的数据,这些数据会在后续分析中被用于决策和预测。
121 0
|
11月前
|
SQL 存储 运维
企业运维训练营之数据库原理与实践—数据库DAS简介和备份上云方案—数据上云(中)
企业运维训练营之数据库原理与实践—数据库DAS简介和备份上云方案—数据上云(中)
105 0
|
11月前
|
运维 关系型数据库 MySQL
企业运维训练营之数据库原理与实践—数据库DAS简介和备份上云方案—数据上云(下)
企业运维训练营之数据库原理与实践—数据库DAS简介和备份上云方案—数据上云(下)
|
算法 大数据
《聚星台—客户运营核心大数据 与算法技术》电子版地址
聚星台—客户运营核心大数据 与算法技术
77 0
《聚星台—客户运营核心大数据 与算法技术》电子版地址
|
分布式计算 MaxCompute
《帮助企业做好MaxCompute成本优化的实践》电子版地址
帮助企业做好MaxCompute成本优化的实践
69 0
《帮助企业做好MaxCompute成本优化的实践》电子版地址