解读大数据应用价值发现的三大方法

简介:

关于大数据的讨论,一方面人们需要理清大数据的概念,开发适用的大数据系统和工具,探索大数据的应用模式等,另一方面人们更关心如何将大数据的价值变现。这对于一个企业来说尤其重要,否则,收集和存储了大量的数据,消耗了大量的钱财,如果大数据不能被很好地利用,从经济上讲就是不合算的,这样的事情也不会长远。

大数据价值的发现与其所处的应用场景密切相关。概括起来,大数据价值发现可以划分为三大类:数据服务、数据分析和数据探索。数据服务是面向大规模用户,提供高性能的数据查询、检索、预测等服务,通过直接满足用户需求而将数据价值变现的形式;数据分析是分析人员利用经验,通过对大规模数据使用特定的计算模型进行较为复杂的运算,从而发现易于人们理解的数据模式或规律所进行的数据价值变现的一种运算形式;数据探索是一种利用数据分析和人机交互的结合,通过不断揭示数据的规律和数据间的关联,引导分析人员发现并认识其所未知的数据模式或规律,其价值更多地体现在对未知途径的数据模式和规律的探索。

1. 数据服务

数据服务针对用户非常明确的数据查询和处理任务,以高性能和高吞吐量的方式实现大众化的服务,是数据价值最重要也是最直接的发现方式。由于要处理大众化的服务请求,每个服务任务必须能够被快速地处理掉,因此,数据服务的单个任务负载不能过于复杂,单任务直接处理的数据不能太大,任务对应的用户需求和采用的数据处理方法必须是明确的。一些典型的数据服务包括事务处理、数据查询、信息检索、数据预测。

大数据应用价值发现的三大方法

解决大数据应用价值发现的三大方法

事务处理是传统数据库范畴的价值发现形式,它针对的主要是任务关键型的数据服务,如银行记账、商业交易等; 数据查询主要是面向快速查找或修改数据的服务需求,它比事务处理更简单,对数据一致性要求没那么强,但对服务的吞吐量要求非常高;信息检索是指从大规模的数据集中快速查找满足用户需求的资料或数据片段的过程;数据预测和数据分类被很多人认为是一种数据分析任务,其实,很多针对个体的数据预测和分类任务实际上是一种数据服务,它使用数据分析得来的预测模型,对个体数据实例进行预测,从而能够高并发地为大规模用户提供分类和预测服务,进而更好地体现出数据的价值。

2. 数据分析

数据分析是指用适当的统计分析方法对大量数据进行分析或建模,提取有用信息并形成结论,进而辅助人们决策的过程。在这个过程中,用户会有一个明确的目标,通过“数据清理、转换、建模、统计”等一系列复杂的操作,获得对数据的洞察,从而协助用户进行决策。常见的数据分析任务又可以被进一步划分为描述型分析、诊断型分析、预测型分析、策略型分析。

描述型分析的主要特点是对数据代表的含义进行描述性的揭示,通过数据统计分析揭示数据隐含的现象,从而帮助人们更好地进行决策。

诊断型分析主要用来揭示一些现象背后的成因,因此,它比描述型分析更深入。很多数据挖掘方法与诊断型分析密切相关。比如相关性分析和因果关系的分析等,都是想通过对数据的深度分析揭示描述型分析所发现的某些现象背后的成因。

预测型分析主要是使用机器学习技术,对现有的大数据进行深度分析,构建数据预测和分类的模型,从而更好地支持数据预测和分类服务。

策略型分析也称指导型分析,是在分析过程中减少甚至排除人的参与,在给定目标的驱动下,直接帮助人们找到好的策略,作用于大数据应用,使得未来数据指标能够按照设想的某些趋势发展。它是数据分析的高级阶段,更能发挥出大数据的价值。

总之,数据分析一般基于大量数据和较为复杂的运算模型,其结果信息量通常很大,适用于宏观决策。而对于细节层面信息的获取,数据分析缺乏如索引和访问控制等方面的技术支持。如何在一个平台上,既支持宏观的分析,也支持细节的分析,是当今一个挑战的技术难题。

3. 数据探索

数据探索是指针对目标可变、持续、多角度的搜索或分析任务,其搜索过程是有选择、有策略和反复进行的。它将以找到信息为目的的传统信息检索模式变为以发现、学习和决策为目的的信息搜寻模式。这样的搜索模式结合了大量的数据分析与人机交互过程,适合于人们从数据中发现和学习更多的内容和价值。

对于数据探索,用户可以在微观层面(数据搜索)和宏观层面(数据分析)之间进行自由切换,用交互式的方式探索并发现数据的价值。

目前,随着大数据研究的兴起,探索式搜索这种交互式分析和探索数据价值的方式,逐渐引起人们的重视,还有很多问题等待研究者们进行深入的研究。

数据服务强调从微观层面获取满足用户需求的精准信息,数据分析强调从宏观层面为用户提供数据洞察,进而提供决策支持,而数据探索则需要在宏观和微观两个层面进行自由切换。大数据蕴含大价值,数据服务、数据分析和数据探索是3个层次的数据价值发现方法。在很多应用下,这3类方法需要混合使用,才能更好地发现大数据的价值。

原文发布时间为:2017年7月13日

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
21天前
|
存储 消息中间件 监控
【Flume】Flume在大数据分析领域的应用
【4月更文挑战第4天】【Flume】Flume在大数据分析领域的应用
|
1月前
|
Cloud Native 数据处理 云计算
探索云原生技术在大数据分析中的应用
随着云计算技术的不断发展,云原生架构作为一种全新的软件开发和部署模式,正逐渐引起企业的广泛关注。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势与挑战,并探讨如何利用云原生技术提升大数据分析的效率和可靠性。
|
1月前
|
存储 消息中间件 大数据
Go语言在大数据处理中的实际应用与案例分析
【2月更文挑战第22天】本文深入探讨了Go语言在大数据处理中的实际应用,通过案例分析展示了Go语言在处理大数据时的优势和实践效果。文章首先介绍了大数据处理的挑战与需求,然后详细分析了Go语言在大数据处理中的适用性和核心技术,最后通过具体案例展示了Go语言在大数据处理中的实际应用。
|
1月前
|
数据采集 分布式计算 大数据
Java语言在大数据处理中的应用
传统的大数据处理往往依赖于庞大的数据中心和高性能的服务器,然而随着大数据时代的到来,Java作为一种强大的编程语言正在被广泛应用于大数据处理领域。本文将探讨Java语言在大数据处理中的优势和应用,以及其在分布式计算、数据处理和系统集成等方面的重要作用。
|
1月前
|
存储 大数据 数据挖掘
云计算与大数据:从基础设施到实际应用
云计算与大数据:从基础设施到实际应用
134 0
|
4天前
|
SQL 分布式计算 资源调度
一文解析 ODPS SQL 任务优化方法原理
本文重点尝试从ODPS SQL的逻辑执行计划和Logview中的执行计划出发,分析日常数据研发过程中各种优化方法背后的原理,覆盖了部分调优方法的分析,从知道怎么优化,到为什么这样优化,以及还能怎样优化。
|
23天前
|
NoSQL 大数据 数据挖掘
现代数据库技术与大数据应用
随着信息时代的到来,数据量呈指数级增长,对数据库技术提出了前所未有的挑战。本文将介绍现代数据库技术在处理大数据应用中的重要性,并探讨了一些流行的数据库解决方案及其在实际应用中的优势。
|
28天前
|
机器学习/深度学习 人工智能 数据可视化
基于Python的数据可视化技术在大数据分析中的应用
传统的大数据分析往往注重数据处理和计算,然而数据可视化作为一种重要的技术手段,在大数据分析中扮演着至关重要的角色。本文将介绍如何利用Python语言中丰富的数据可视化工具,结合大数据分析,实现更直观、高效的数据展示与分析。
|
1月前
|
存储 NoSQL 大数据
新型数据库技术在大数据分析中的应用与优势探究
随着大数据时代的到来,传统数据库技术已经无法满足海量数据处理的需求。本文将探讨新型数据库技术在大数据分析中的应用情况及其所带来的优势,为读者解析数据库领域的最新发展趋势。
|
2月前
|
分布式计算 并行计算 大数据
Python多进程在数据处理和大数据分析中的应用
Python多进程在数据处理和大数据分析中的应用

热门文章

最新文章