车品觉:对于大数据未来趋势的判断

简介:

光阴荏苒,2015年在跌跌荡荡中成了过去式,对于大数据的产业来说过去这一年冒出了很多新的名词。但在我看来,真正的大数据应用和市场才刚刚开始萌芽,所以我希望大家先认清一个关键,那就是所有的数据都是基于应用而产生,而数据经过釆集及整合后又再落实到自身或其他应用情境中,大数据的创新价值可以来自新连接的数据、算法或者产品本身。


过去两年大数据的成长和智能手机的有紧密的关系,发挥了媒体、通信、社交及传感器于一体。同时IOT的浪潮又正在酝酿之中,online与offline的接合带来了更深度的数据关联,触碰到消费者的全渠道行为收集,在一波接着一波的趋势浪潮下,很多人问:未来大数据的趋势会怎么发展?”一般来说,这种问题我可以有很多不同的猜想与观点,但是认真想想,以其给出我的答案案不如交代一下我对思考趋势的逻辑,你们不是更能够对著自己所属的行业去挖掘真正有价值的趋势吗?所以我期待这篇文章不是帮各位看倌捕鱼,而是给各位一根钓竿还有钓鱼的知识,让你们有能力在趋势大海中猎捕属于你的大数据观点。


变是唯一的不变 (Change is the only constant)


说到趋势,人们往往习惯从改变的现象作观察,但是如果当我们把视野格局放大,在大数据的长期发展趋势中,找出变化的本质,反倒是让我们更容易看清楚动向,所以从这个角度出发,我至少可以看到未来的2-3年,有几项已经存在的现况正在过渡中会:

1.应用无线化;

2.信息数据化;

3.交易无纸化;

4.人类智能化;

5.决策实时化;

6.线下线上化。


上述这些趋势不劳赘述,其实已经是我们现在生活的一部分了:应用无线化提供了更大的便利性与移动性、让终端设备与资料采集的作业可以更为弹性而有效率;信息数据化则是让讯息的流通、交换、加工、运用更趋标准及结构。DT时代数据的应用变得更即时直接;交易无纸化则是彻底的改变了我们交易行为与资金流,并赋予未来微经济商业模式更多创新思考的可能性;人类智能化则是描绘大数据所产生的创新价值如何与人类交互並深入于生活之中,人的思维与新科技将会遇上前所未有的碰撞。人机协作是个新的机遇。决策实时化透过大数据实时采集及加工改变了决策与信息关系。过去的世界我们假设数据不能低成本获取,决策的实时性和精确难以达到,最后我们谈到线下线上化,也就是最近大家一直在谈论的全渠道议题,未来仍将是呈现线下更多的运用线上数据倾倒的趋势,未来线上与线下将连接在一起不能分割。


这些本质上的转变会持续好几年,上述这六个观察会在各自的体系内深化发展与创新,但大数据的发展趋势卻会走着两个方向,首先是其价值体现会落地于各行业当中,数据技术会成为各行各业的优化工具或产生颠覆性创新。然后大数据本身的发展也会自我被颠覆,数据的釆集、更新、识别、关联将会变得越来越自动化。落后者将会是那个被超越与淘汰的输家。

 

大数据创新循环链——跳脱惰性的乘法思维


每一个理论的产生都是为了让我们更容易去解释各种现象。趋势的变化可能会受到很多的商业与政策背景而有不同形式的呈现,但是背后的原则或者说是脉络应该要能够经得起重复的检验。所以我试著用一种所谓的大数据生态的循环链来描述这个趋势。


0?wx_fmt=png

图一:大数据创新循环示意)


上面这张图所定义的两个维度恰恰是我前面一再提到的观念,大数据是被需求所驱动的,而需求来自于对现有已知或未知问题的解决,所以在纵轴上我问题区区分为明确的问题(Define Problem)以及模糊或是复杂问题(Vague Problem),这表达了在大数据落地应用前我们究竟是否清楚要解决的问题为何;而横轴则是定义大数据在原料端的呈现形式一端是条理清楚的集中化数据而另一端则是结构模糊的碎片化数据。


在了解了基本定义后基本上我对大数据趋势的发展就可以用这张图来阐述首先所有的数据应用都是从第二象限的数据驱动开始这部份的数据集中而且要解决的问题很明确已经可以开始运用数据来优化我们的决策在这个阶段可以观察到人类的惰性以致于没办法把数据作为他们的核心竞争力毕竟这些人手边不是没有数据、而是不知道或是没有很积极地用来解决问题所以过数据驱动让这些人练习把手边的数据用起来,尝试去解决一些老问题


然后随着数据不断地快速增加,很多碎片化的数据或其他人冗馀的数据开始加入,这个时期我们可以开始称之为“大数据驱动”,开始能够应用自身以外、来自于第三方的冗馀数据来解决自身的问题,这是辨别是否进入大数据应用领域的重要判定基准,然而在这个阶段面临的挑战,是来自决策者过去的习惯以及数据人的惰性,首先我们要了解在第一和第二阶段,数据处理所需要的能力是很不一样的,因为这个阶段的数据零散性要求我们在收集不同数据和加工数据时有一套新的方法,这也是为什么在第二阶段,很多时候我们只听人家讲,但没什么产出。因为处在这个阶段的人是两边都不习惯的人。商业的人说我不习惯用数据做决策,数据的人说我们也不习惯用很零散的数据来稳定地来解决一个问题。


从第一个阶段到第二个阶段,我认为都还是一种加法类型的演进,也可以称之为连续性创新,只是让之前既有的东西作的更好,而且是基于以往的经验叠加上去的,但是到了第三个阶段的大数据变革,我们将面对模糊的问题、碎片的数据,过去我们不太习惯当还不清楚问题的时候,就使用数据来找出问题所在,因为这个时候,我们往往会陷入一种矛盾,因为数据零散、乱、没标准、没规范,问题也不清楚,究竟该怎么办呢?毕竟这两者都超出了过去人类的习惯与经验法则,但这里恰恰就是人类未来要变革的地方;不同于前两个阶段的加法逻辑,第三阶段开启的是一种乘法的思维,透过模糊问题与碎片资料的碰撞,我们将会看见新的问题与新的机会,我认为这部份才是大数据真正的价值所在。


最后、我想强调的一点是,这几个阶段不是一个线性的延展,而是一个滚动的闭环,因为第三阶段碰撞出来的问题与机会,经过系统化的验证与标准化后,他所需要的数据源以及能够解决的问题也会逐渐稳定下来,形成一种新的服务或方案,于是就会再次归回到数据驱动的解决层次,也正因为这种特性,我才定义这是一种大数据的创新循环链。


趋势里面的观战重点 


前面讲了趋势的架构和思考方法,最后我还是忍不住要跟读者们分享几个独门观点,让各位在各自行业中观察大数据趋势的时候能够很快的抓到重点,除了可以让各位不光是跟着看热闹,还能从中看出创新商机的门道:

 

1.数据安全 


2015年数据安全事件频繁发生,随着全球各个国家开始采用新的数据安全技术和新的数据保护法律,2016年对数据安全的监督要求将会变得越来越严格。大家对个人隐私的保护比商业机密的泄露更为关注,已经到了没有一个政府或企业不关注的时候。但是数据安全背后代表的是数据开放的风险与疑虑,当数据风险没有办法有效的管控并建立个人对数据的信任感,这对于正在发展中的大数据产业来说将会形成一种阻碍。


从个人的隐私、公司机密乃至于国家和国家之间的数据保护,都将会是2016年快速成形的趋势,当数据成为商业重要且关键的资产时,随之衍生的可能会是像「首席数据隐私官」这样的职业应运而生,或许很多人会觉得匪夷所思,但是我相信到了2016年,很多拥有大量数据的公司都首席数据隐私官视为一个重要而关键的角色。

 

2.分析的简化与外包


讲数据分析工作的外包其实是一个概念上的举例,其实我要谈的是大数据背后会形成的产业链分工,这是一个值得大家关注的发展,随者大数据应用的落地,很少有那一个企业可以独立完成从原始资料采集、加工、分析乃至于落地应用的完整程序。这背后代表的是未来将会在不同的数据处理阶段,都有机会发展出专门的技术公司协助企业完成大数据实务应用前的整备工作。


回想我们前面提到的大数据创新循环链的概念,每一次的大数据变革阶段激荡出新的问题与机会后,当这些新的问题开始聚焦,同时对应的数据源也趋于集中的时候,就代表一个新的产业链机会也就随之产生,这些中间层(Middle layer)的服务与创新对于大数据产业的发展将扮演至官重要的角色,同时其中也蕴藏了可观的商机。

 

3.政府的数据态度


从整个数据的地图来看,政府其实是拥有最多数据的“财主”。因为政府锁定了很多公共服务领域的关键数据源,是公共数据开放的大资源,也是大数据驱动的一把金钥匙。我们简单来看下,政府的数据涵盖能源、金融、交通、治安、医疗、环境、食品等等。你发现所有的数据都是相对集中又非常重要的。

 

所以,政府数据的开放是促成一个产业创新的催化剂,这背后也代表著政府大数据政策对于整体数据产业的发展有多么关键,2016年我们可以观察政府对于公共数据开放的态度,而各个行业也可以对著政府数据政策的脚步开始尝试练习进入大数据驱动乃至于大数据变革的第三阶段。

 

4.多屏时代


过去的两三年,我们看到PC被手机颠覆了。但手机会被颠覆吗?


虽然短期内还不知道,但我可以预见有两个新的屏会出现:一是Smart TV,二是物联网汽车。Smart TV是你家里的屏,收集你看节目的数据和推荐你喜欢的节目形成了天然的数据闭环;物联网汽车则是第二个非常关键的屏,来所有汽车的内部都会像特斯拉一样,一个大屏会控制汽车中的每个部分、记录汽车行驶中的各种数据,因此产生信息的流动。


如果你问我会不会有第三还是第四个屏会出现,最近爱立信(Erickson)公司针对全球40个国家、10万名消费者进行了一项未来载具的调查,研究结果显示超过一半的受访者都认为智型手机会在五年后被淘汰,取而代之的是具备AI功能的新设备,但是对我来说,我的观察很简单,就是从两个层次的分配来思考这个问题:时间分配(Time Share)和载具分配(Device Share),因为人在不同的时间段会因为当时的环境状态而对于不同的设备有不同程度的依赖,在家的时候,对于Smart TV的依赖就会比手机高些;当我们离开家往下一个目的地移动的时候,在大众工具上我们需要的是手机,但是如果是自己开车,车用导航或是行车电脑的屏幕就会成为主要的关注


 所以说实话,我不太在意五年后我们拿在手上那块屏幕是否仍称之为手机,因为我更在意的是人如何与那块屏幕互动,以及互动的过程中我们如何采集到有价值的数据,并进一步对使用者的日常生活做出优化的回馈。

 

5.数据行业化


所有大数据的落地点都是在行业的。过去我们看到互联网影响比较大的行业必然容易数据化,已经冒出头来的有金融、医疗、电商等行业。下一步的大数据应该是不同的领域各自发展,不会有一个全盘通吃的方案转移成为每一个领域的解决方案,不管是零售、医疗、教育、金融等行业,都会受到中国互联网+的带动而发展。这是对等的,因为很多小公司起步,产生了很多小数据,这是一个从0到1然后整合碎片化的数据、最后再到积累大量数据的三个进程,这三个进程的时间点加上不同的应用,铸就了行业大数据。

 

另外一方面我们可以观察到大数据未来将会从过去的浅层连结(weak link)转变为深层连结(deep link),大数据由淺而深的演变中我们可以观察到,过往大家在看网路的时候,都习惯从行业为出发点开始思考网路(数据)可以帮我作些什么;但是到了互联网和大数据的时代,該是时候做出些颠覆性的改变,尝试以網路(数据)为出发点切入思考,再把行业的的思维放进来碰撞,看看可以激荡出什么样的创新思维,就好比Uber、Airbnb都颠覆过往行业运用网络的概念,这种思考与创新的方式才能將跨行业的東西提升出來。


提到行业,我这边就简单提几个比较显著的发展,试着看看未来行业怎么看见中间层(Middle layer)的机会,然后从中看到新的问题与创新机会点:


1. 金融与保险


如果要我用一字道尽金融在大数据时代的机会点,那就是微(micro)。过去很多的创新都被技术和数据的能力所局限,未来数据的采集、加工和应用都将实践个人化的价值,将会激发很多」的金融商业模式,动态的意义一方面体现在对于金融保险体系里面的客户掌握:因为过往个人信用评比往往无法有效率地反应最新的个人信用风险,导致银行或是保险公司不能够给到最符合顾客需求和利益的服务;另外一层的动态要解决的服务合理性的问题,也就是当我有使用到服务的时候才向客户收取费用。


 举一个汽车保险的例子同时来说明上述两种动态所代表的价值,过往我们对于汽车保险的保费设定是基于客户过往的驾驶肇事记录来调整保费费率,背后所代表的意义是这个汽车保险的游戏规则维系在这个投保车主的驾驶安全行为上,但是认真想想,肇事记录已经是一个相对落后的事实指标,在大数据时代难道没有更动态的数据可以来预测危险驾驶的风险嘛?当然有、而且来源还不只一个,未来的汽车都会向特斯拉一样,透过车上的传感器记录这个驾驶怎么踩油门(比方说习惯性的紧急煞车就反应出一种危险驾驶的讯号)、换道的时候是否有打方向灯以及多频繁地鸣按喇吧,这些资讯都可以侧写出这个驾驶是否安全的驾驶习惯、同时如果我们再把这个驾驶的行车路线数据比对到政府公布的危险肇事路段的数据,我们就可以知道这辆车每天上线班的路线是属于怎样的安全等级,综合以上这两类数据,即便没有肇事记录,保险公司都能根据这些数据来动态调整对这台车的风险评比,并随时机动地调整保费的费率(动态费率)。


同样地、如果车险是为了确保用车人在驾驶期间的风险,那透过车辆的传感器,我可以清楚的知道这辆车有多少时间是停在车库、又有多少时间是在被使用的状态,所以保费的计费也是根据车辆实际承受风险的时间来跟客户收费,这也就实现了前面所提到的动态计价(pay as you use/pay as you go)。

 

2.医疗


医疗当前所面临到的最大问题就是数据不整合,明明是我自己的病历,但我在A医院却拿不到之前在B医院的病历。另一个大问题是中国人口老年化问题严重导致在医疗费用上的负担沉重,只要一生大病就没钱买药来医。如何把医疗成本降低,把滥用资源和药物的成本减少,才能根本减少政府负担,让资源真正给到需要的人。


美国福特公司的30万员工,每年享有30亿美元的医疗保险预算,但这笔钱过去只有一个人在管,97年福特采用他们第一个数据应用,分析之后发现竟然有人150岁还在领医疗保险,以及有人一年领两次怀孕补助等不合理的状况,这些都是无谓的资源浪费,但如果不透过数据可能永远也不会发现这样的谬误。


医疗是一个连续性的行为,一个人从健康、亚健康乃至于疾病的阶段都不是突发的,背后都有遗传或是生活饮食习惯的脉络可循,医疗数据的互通还可以让了解疾病和疾病间的关系,很多疾病的危险信号常常是因为信息互相不通而忽略问题没办法在第一时间察觉延误治疗。将像美国就曾经透过传染病传播数据预估知道要生产多少疫苗以及各区疫苗使用状况,大大地给予疾病防治重要的帮助。

 

3.零售


对零售业来说最重要的,就是如何用数据把供应与零散的需求做匹配。让买家知道我心里面要什么,让我最快找到我要的东西,给我最好的价格,用对我最方便的方式付款,在刚好的时间送达,就会是赢家;而从供应方来看怎么可以满足消费者,想用最小的库存,最快的方法,最合理的利润率来服务顾客,供应链的处理怎样可以变得更好,减少成本浪费。


以数据驱动为基础的线上零售发展巳经有十几年了,但线下将来会出现什么情况?其实当POI逐渐成熟,拿着手机,处处都能发挥大数据的连接能力,时刻都是机会点。大家都不会特地开个应用程式来购物,就算线上再发达,某些时候线上并不是最方便的渠道,因此改善零售用户的体验型态就是全渠道,对零售业来说,最好是线上线下都能盖到,只有online的应用程式是不够的,最好连offline的渠道都能拿到,不然很容易就被别人弯道超车了,所以全渠道的打通和合作策略是零售业在2016要关注的第一个重点。


其次我想来谈谈推荐,现代人可在同一时间享受多种服务,浏览多种产品讯息,但是有几十万个跟你有关的商品摊在你的眼皮底下,你要怎么选择?人主观上都是希望自己可以选择,但有这么多选择的时候,选择本身反而变成了一种负担,所以未来的推荐应该是游合于“优选”与“逛”之间。大数据让手机变成个人消费助理,不断跟着你走,也不断领着你走,就会在商家和消费之间达成一个媒介。


最后要跟大家聊的是零售业根本的生产问题。数据是不是可以成为产品创新和改良的依据,从设计到生产、包装、销售、售后的过程中观察与不断优化,最终能够生产出符合现在消费市场顾客需求的商品。虽然是老话一句,但是还是不得不在这边重申一次:大数据时代对零售业来说不是一个单纯的转型问题,而是一个攸关存亡的生死问题。

 

走出大数据和小数据的迷思


拉拉杂杂地谈了许多大数据的趋势和观点,最后用一个思考性的问题来做为这次趋势文章的总结,因为每次讲到大数据,大家总是喜欢在数据大小这件事情上面争论不休,但究竟数据的大或小对我们的意义是什么?


简单来说我们可以认知为数据收集从量到质的转变,因为越来越多公司意识到他们收集的大部分数据除了占据存储空间外,并没有发挥太多作用,所以慢慢地、企业在决定要收集哪些数据的时候,越来越没有以前那么地粗放,不再像过去那样,只要觉得数据可能有用就先收集。过去来讲,我们把太多的注意力放在大数据本身,所以忽略了一个根本的问题:就是有稳定的数据提供给你时,你会用它来解决问题吗?当集中的小数据还未利用起来的时候,可能是你对问题、商业的理解还不够透彻,因此很多大企业理解了这个之后,不会再迷信大数据,而是更踏实地收集一些对解决他当前问题有用的数据。大家对大数据的态度从2016年开始会变得更谨慎,而且会走到专业领域。


跨进2016年,别再斤斤计较于大数据的词意,反倒是怎么样看对问题、看懂问题然后试著透过数据的思考与落地实践才是你该认真思考的下一步,所以到了2016年底别再问我隔年的大数据趋势,因为如果行业里的每个人这一刻不开始动手实作,讲再多的趋势,听起来也就是像路边的算命摊一般信口开河。


原文发布时间为:2016-01-30

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
大数据
车品觉——忘掉大数据
忘掉大数据 我们正处在历史的转折点上,数据技术在快速变革。大数据成了人们竞相争议的热词,但鲜有人提及这巨大变革中需要具备的能力。无数的企业及个人望“数”兴叹:“大数据与我何干?”未来是大数据的时代,未来的竞争就是数据的竞争。
970 0
|
大数据 数据挖掘 BI
车品觉:大数据这三年
“大数据”这一话题对从事IT行业的人们来说并不陌生。大数据被称为继云计算之后,最受瞩目的技术,也同云计算一样铺天盖地而来,“落地”得有些慌乱。在实践中我们的CIO、CTO和IT经理们是怎样针对大数据进行数据挖掘和商业智能的呢?   在“大数据时代下数据挖掘与商业智能应用研讨会”现场,来自互联网行业、制造业、能源化工、金融等行业的企业的CIO、信息总监、IT经理共同探讨了了大数据时代下的数据挖掘与商业智能应用的建设思路。
1504 0
|
数据采集 安全 大数据
车品觉:大数据这三年
  1、大部分人已经开始停止讲大数据了 今年我们去美国的大数据的时候,你会发现大部分人已经开始停止讲大这个词了,那创造了一个词叫Data,这个词是非常有意思的,我们把数据工程化,里面必须要有一个标准要出现,而且在有标准要出现之后,还有一些楼层要出现。
1170 0
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
46 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
37 0
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
33 0
|
2月前
|
分布式计算 DataWorks BI
MaxCompute数据问题之运行报错如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 1