勿让大数据成为“镜中花,水中月”

简介:

随着物联网的应用及智慧产业的爆发,“大数据”这个词汇再次高频度地出现在人们的视线中,围绕大数据做文章也相应催生出了农业大数据、工业大数据、健康大数据、旅游大数据等一批行业领域的大数据概念。作为各行各业智能化变革的重要组成部分,“如何利用大数据”成为传统企业和新兴互联网厂商争相涌入的新一片蓝海。

大数据

  合理利用大数据助力中国各产业加速发展

智慧产业的应用简单来说,需要依托传感前端的智能感知或者数据采集,经过数据筛选、分析等处理,最终根据业务需求提供服务应用的一个过程。其中,大数据起着“中枢”的作用,犹如人体五官收到外界信息后经过大脑中枢处理进行决策的过程,其地位的重要性可谓不言而喻。

正因为这种行业变革的应用,各个领域开始了脑洞大开的畅想:智能手环检测到你的体脂率近期呈上升趋势,健身中心主动联系你并推荐降脂训练,生鲜电商平台发送低脂、健康食谱到你的手机;你有3天小长假,系统自动匹配你过去的行程信息、喜好、消费水平,推荐旅游方式、目的地,并将目的地相关的近期状况、游客点评等信息呈现给你……似乎无限的商业模式摆在眼前,只等你开始开采金矿。

大数据之采集分析,你了解多少?

有人曾说,大数据像地底下的石油资源,数据采集就相当于发现原油。大数据采集的对象不仅仅包含人们在上网过程中浏览或产生的信息数据,从移动互联演进到万物互联的时代更是包含了全世界的家电、工业设备、监控仪器、汽车及可穿戴设备等等装备终端传感设备所产生的运行数据、环境数据、监控视频图像数据等等,所产生的数据将会是指数级爆炸式增长。IBM的研究称,整个人类文明所获得的全部数据中,有95%是过去几年内产生的,而到了2020年,全世界联网设备可达200~500亿的数量,所产生的数据规模将达到今天的40倍以上。

数据的产生过程可以大致分为两类:一类是通过社交网络、电商平台、APP应用等消费者领域产生的数据,如社交、购物、出行等数据;另一类是各种智能设备、监控设备、传感设备等自主采集上传的数据,如人/物的状态信息、运行数据、地理位置、温湿度等环境数据。这些数据不仅来源十分广泛,数据类型更是纷繁复杂,加上各种工业PLC、不同通讯协议的传感终端带来多源数据的问题,这些都需要大数据采集层面实现智能感知识别、信号转换、适配、数据传输等技术的支持。

大数据技术下的系统平台通常以云存储方式进行数据存储,且随着企业信息化的加深呈现数据融合、加工再增值的趋势。但是,原本割裂、各自存在的系统平台数据存储格式千差万别,如传统的财务、办公、人力、采购等系统采用外部供应商提供,而核心业务系统自行开发管理,所导致的不同应用间数据结构化、半结构化、非结构化(如语音、图片、视频)等不同形态带来异构数据存储的难题。传统针对关系型数据的数据挖掘、分析处理方法在异构的大数据处理要求面前显得过于乏力,需要创新研究新型大数据分析和数据挖掘处理方法。

此外,大数据呈现着数据价值密度较低的特性,且数据价值隐藏较深,对数据的抽取及分析带来不小的挑战,出于对最后服务应用质量的保障,必须使用多种复杂的分析算法对原始的累积数据进行转换及清洗。以车联网为例,车辆运行状态数据实时上传,每天单部车辆所产生的不间断的数据中,可能有用的仅为几个关键数据,如果没有进行数据“提纯”,再多的数据也只是一堆数据垃圾。

大数据服务离我们还多远?

20160801022212463.jpg

服务应用体现着大数据变现的至关重要一个环节,也是体现商务模式的核心环节。没有真正的服务应用,大数据只能叫“海量数据”,或者说“BigData”只能叫“ManyData”,因此,在海量数据中淘金才是大数据的真谛所在。但是,现在国内大部分公司对于大数据的应用仅仅停留在数据图表展示、浅层分析,至于数据下一步怎么用,没几个人搞的明白。

在工业制造领域,依靠工业制造的各个环节传感终端累积的数据可以为制造企业带来制造效率的提高、产品质量的改善、生产成本和资源消耗降低等转变;通过大数据的高速分析可以精准计算着每个生产步骤和节拍,这些都最终为企业管理者打造一座透明的智能车间、智能工厂。在农业生产领域,通过农田种植、果园花卉、畜禽水产养殖等领域大量的终端感知数据采集,并结合农业生产丰富的历史数据资源,进行农情监测、重大灾害预警,从而进一步预测农产品产量、价格波动趋势等,打造智慧农业园的农业愿景。

这些都是大数据服务于具体行业应用的例子,但是离行业广泛应用还尚待时日。此外,大数据涉及的数据安全问题还亟需解决,需要服务提供商对数据资源进行切割、隔离,一方面保障用户的数据对于其他用户是不可见的,另一方面需要确保单个用户的不良数据操作对整个大数据平台的整体和服务不会产生影响。同时,电信、能源、金融、医疗、教育、政务、工业及农业等各个领域对数据应用均有不同程度的需求,部分行业对基于大数据的平台服务有着高实时性的要求,如设备故障预测预警、生产决策支持等业务,部分行业需要涉及高并发数访问及操作,比如电信、金融平台等,这些都对数据的算法提出了非常高的要求。

开放、共赢,勿让大数据成为“镜中花”

大数据能够带来巨大的商业价值已经毋庸置疑,各行各业均已开展了一场无形的较量,数据提供商、服务提供商都想在这片蓝海强占先机。但是,应该清醒的是,大数据之所以称之为”大“,更多体现的是数据资源的整合、业务的合作,否则,大数据之“大”,只会生成一堆泛滥的数据,并跟垃圾一样,成为另外一种放错地方的宝藏。建设一种共赢、开放的形式来让企业、硬件厂商、服务提供商、产品使用者共享数据价值,让未来的生活越发智慧便捷,这才是大数据不会沦为“镜中花,水中月”的唯一途径。





====================================分割线================================


本文转自d1net(转载)

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
8月前
|
存储 SQL 监控
怎么给大爷讲清楚“什么是大数据”?彭文华
怎么给大爷讲清楚“什么是大数据”?彭文华
【一碗鸡汤】人生的六度发展方式
作者按:社会学中的六度理论探讨的人际关系,而本文的六度发展方式则聚焦在单个人身上,思考如何度过更有意义的人生。 引言 苹果发布会上,乔布斯的言语绕梁不断,人生会有很多不同的道路,如何走过才会让其更加丰富多彩呢?人生可以从以下六个维度来衡量,或者说是可以从这六个角度来思考如何发展。
706 0
|
机器学习/深度学习 人工智能 自然语言处理
|
算法 大数据 数据挖掘
愿你的大数据能有点柴米油盐的味道.........
一直以来都有两个观点:1,当你不能够用生活中的例子来讲明白你所懂技术的时候,也许就是你自身对该技术理解深度不到位。2,牛人分两种,一种是把自己所会的技术讲的所有人都能听明白,而另一种就是讲的只有一小部分高手能听懂........ 最近开始泡知乎论坛,买了一些Live开始学习。
1614 0
|
人工智能 算法 大数据