敏捷数据分析方法论革命来袭

简介:

想必大家都听说过敏捷开发,敏捷开发是以用户的需求进化为核心,采用迭代、循序渐进的方法进行软件开发。随着敏捷概念的深入人心,数据分析方法论也发生了革新,敏捷数据分析逐渐进入主流视野。本文将简要介绍到底何为敏捷数据分析。

敏捷数据分析方法论革命来袭

传统VS敏捷

我们先来看一下传统的数据分析流程:

解读业务战略目标–>确定目标分解的量化KPI–>确定KPI的计算公式和所需字段–>确定所需字段来自于哪些数据库的哪些表–>数据建模–>预先汇总成二次表和Cube–>结果展示。

由于需要建模和打CUBE,这一流程通常需数月才能完成。

现在,取代传统数据分析流程的,是快速迭代式分析。敏捷数据分析不必在开始时花很长的时间构思大而全的分析指标体系,而是低成本快速迭代,几分 钟就做好一个当前想要分析的结果,通过敏捷数据分析工具实现动态切换视角,灵活展示数据,日积月累,指标自然越来越丰富,计算公式也越来越符合业务逻辑, 这时再体系化。下面的演示视频将帮助大家了解如何通过敏捷数据分析工具在几分钟时间内实现自己的分析需求。

为什么传统数据分析无法实现快速迭代分析的高效?因为在过去这么多年以来,我们对于大数据海量数据的计算能力达不到比较理想的要求,所以我们才需要IT人员用通过建模等方式提前把数据计算汇总好,随着现在大数据的技术相对来讲都日趋成熟和完善,分布式计算,内存计算、列存储等比较成熟的技术架构,采用这种新的办法去处理数据的性能,已经比以前提升了几十倍甚至更高。

符合迭代思维

快速迭代式的敏捷数据分析有什么好处?首先,这种分析方法十分符合互联网思维中的迭代思维。企业的分析指标不可能一开始想得非常全面,本身就是迭代逐步形成的。以电商行业为例,电子商务的数据可分为两类:前端行为数据和后端商业数据。前端行为数据指访问量、浏览量、点击流及站内搜索等反应用户行为的数据;而后端数据更侧重商业数据,比如交易量、投资回报率,以及全生命周期管理等。

在最初期,电商行业最关注的是那些核心指标:UV、转化率、客单价、毛利率、推广ROI、重复购买率,人们在核心指标的基础上逐步对媒体、用 户、商品、营销等对象做详细分析;同时在客服、商品、仓储物流等内部运营绩效方面进行监控。这些数据现在又可以被归纳发展为4个方面,基础访问数据、商品 销售数据、营销推广数据、用户数据,其中基础数据中包括网站的访问数据、网页链接点击、来源跳出等等。商品销售数据关系到品类、销售多少、影响因素等。营 销数据包括投入产出的投资回报率,更多地是跟其他几方面的数据进行混合分析。用户数据包括分析用户区域、购买频率、客户构成、忠诚度、偏好等等。

适应变化需求

另一方面,企业的数据分析需求可能是随时变化的,快速迭代的敏捷数据分析能够满足业务人员不断变化的分析需求。在最初期,业务人员无法全部确定 自己的数据分析需求。因此做数据分析必须先了解业务。只有知道业务问题在哪里,才能知道需要分析什么数据,而不是从数据表象来猜测业务,这是因果倒置。而 且每个公司在不同阶段的数据分析的切面是变化的。比如京东当年与当当大战的时候,刘强东每天要了解图书品类的数据。但是现在他可能就不需要这样。

敏捷的快速迭代式数据分析能够解决企业绝大部分的分析需求,同时节省了时间成本和金钱。最重要的是,敏捷数据分析通过对大数据进行高速捕获和实 时的分析,帮助企业获取核心业务和战略决策所需的关键信息,提升企业经营管理和战略决策水平,创造商业价值,这也许是对大数据价值的最好诠释。


作者:永洪科技 Mino

来源:51CTO

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
数据挖掘
分享五个常用的数据分析方法论,让你的数据分析报告更上一层楼~
如果你在做数据分析的时候,发现自己常常不知道从哪些维度去开展分析或者分析出来的报告总感觉逻辑上不连贯,内容上不完整,那么你一定是缺乏一个合适的数据分析方法论来指导你进行数据分析。
648 0
分享五个常用的数据分析方法论,让你的数据分析报告更上一层楼~
|
数据采集 SQL 人工智能
google数据分析方法论
写在前面作为开发同学,年初至今做了4个多月的数据分析工作,从刚开始的无从下手,到后来输出多个核心报表,解决了多个实际问题。这一路走来,的确有蛮多的心路历程,也积累了一些方法论。在此分享给同在数据分析路上摸索的小白同学。参考书籍:谷歌数据分析方法文章宗旨摒弃旧的思维模式,重新审视网络决策过程。更多的关注精确度,而不是准确度附:odps sql指令大全。(含示例数据构建,可以轻松学习各种用法)核心观点
250 1
|
数据挖掘
从5W2H数据分析方法论谈起
看了小蚊子的书,里面有一个例子让我印象很深刻: 数据分析员对公司的某个业务进行了专项研究。每当完成专题分析向老板汇报分析结果是,老板首先问:“你的分析方法论是什么?将给我听听,我看分析报告就首先看你的分析方法论,如果分析方法论不正确或者不合理,那后面的分析结果也就没有必要看了,在一个不正确或者不合理的方法论的指导下,得到的分析结果是不可能正确的”。
785 0
|
1天前
|
数据采集 数据可视化 数据挖掘
R语言与Python:比较两种数据分析工具
【4月更文挑战第25天】R语言和Python是目前最流行的两种数据分析工具。本文将对这两种工具进行比较,包括它们的历史、特点、应用场景、社区支持、学习资源、性能等方面,以帮助读者更好地了解和选择适合自己的数据分析工具。
|
7天前
|
机器学习/深度学习 数据挖掘 计算机视觉
python数据分析工具SciPy
【4月更文挑战第15天】SciPy是Python的开源库,用于数学、科学和工程计算,基于NumPy扩展了优化、线性代数、积分、插值、特殊函数、信号处理、图像处理和常微分方程求解等功能。它包含优化、线性代数、积分、信号和图像处理等多个模块。通过SciPy,可以方便地执行各种科学计算任务。例如,计算高斯分布的PDF,需要结合NumPy使用。要安装SciPy,可以使用`pip install scipy`命令。这个库极大地丰富了Python在科学计算领域的应用。
12 1
|
8天前
|
数据可视化 数据挖掘 Python
Python中数据分析工具Matplotlib
【4月更文挑战第14天】Matplotlib是Python的数据可视化库,能生成多种图表,如折线图、柱状图等。以下是一个绘制简单折线图的代码示例: ```python import matplotlib.pyplot as plt x = [1, 2, 3, 4, 5] y = [2, 4, 6, 8, 10] plt.figure() plt.plot(x, y) plt.title('简单折线图') plt.xlabel('X轴') plt.ylabel('Y轴') plt.show() ```
13 1
|
8天前
|
数据采集 SQL 数据可视化
Python数据分析工具Pandas
【4月更文挑战第14天】Pandas是Python的数据分析库,提供Series和DataFrame数据结构,用于高效处理标记数据。它支持从多种数据源加载数据,包括CSV、Excel和SQL。功能包括数据清洗(处理缺失值、异常值)、数据操作(切片、过滤、分组)、时间序列分析及与Matplotlib等库集成进行数据可视化。其高性能底层基于NumPy,适合大型数据集处理。通过加载数据、清洗、分析和可视化,Pandas简化了数据分析流程。广泛的学习资源使其成为数据分析初学者的理想选择。
15 1
|
11天前
|
Python 数据挖掘 存储
Python 数据分析(PYDA)第三版(七)(4)
Python 数据分析(PYDA)第三版(七)
34 1