大数据视角下的API经济

简介:

3月28-29日,在工业和信息化部的指导下,为期两天的“2017大数据产业峰会”在北京国际会议中心召开。本次会议由中国信息通信研究院和中国通信标准化协会共同主办,数据中心联盟大数据发展促进委员会承办,旨在宣贯和解读《大数据产业发展规划(2016-2020年)》,支撑大数据国家战略落地,展示大数据产业发展成果,探讨发展面临重大问题,推动产业交流与合作。北京大学软件研究所副所长黄罡在28日上午的《大数据产业发展规划(2016-2020年)》宣贯会上发表了题为《大数据视角下的API经济》的演讲。

 大数据视角下的API经济

黄罡教授在大数据产业峰会上做主题演讲

以下为现场演讲实录:

今天上午邬院士讲了以数据集为核心的大数据共享开放、流通交易环节产生的种种弊端,但是我们放眼看世界,以美国为代表的数据开放流通共享交易几乎都不是以数据集为核心,而是以API也就是应用程序编程接口为核心。今天我跟大家分享的主题是大数据视角下的API经济是怎么回事。

API经济是针对APP的,APP是手机里的应用,移动互联网出现以后,所有移动互联网的产业价值和用户价值都是以APP来体现的。但是我们知道,在iOs平台上的APP过100万种以后,95%以上的应用已经变成了僵尸应用。美国由此产生新的应用分发模式API,就是开发者根本不用再花心思开发一个APP,然后在应用商店上大力推广,大家要做的事情是把自己的业务做好,把业务以API的方式开放出去,别人会在他们的应用里面集成对应的API:不管是微信还是Facebook,不管是电商还是采购软件都会集成我们的API,只要我们的业务功能有价值,我们的数据就有价值。

 大数据视角下的API经济

我们可以看这张统计图,推特的API每天会有150亿调用,这些API调用并不是通过推特的APP实现的,谷歌每天API的调用次数也超过100亿次,当然还有美国其他的一些例子。我们可以看到,越来越多APP的功能其实不是通过打开应用使用的,而是通过API来实现。

当然大家要问了,为什么要把API开放出来?从大数据领域得到了什么?越来越多的人可以看到,我们的API开放之后,随着用户对API的调用,会得到用户对业务的诉求,从而可以对业务进行优化。所以当今不管是微软、谷歌还是Facebook,他们人工智能的核心业务模式有两点,一是开源,二是开放API。开放API之后,随着用户对API的调用,可以得到所有的客户应用请求,从而进一步优化算法,推动产品发展,这就是我们的API经济。

API应用模式有两种,第一种是对外提供API,第二种模式就是应用集成。大家可以看到当今的Top应用里,微信2015年就已经集成了583个第三方应用的API,包括滴滴打车、大众点评等,我们根本不用在手机里一一打开那些APP,在微信、淘宝里就可以打开。美国亚马逊的Echo,最顶层的应用是定时、播放音乐、帮我读新闻、帮我开灯关灯、帮我调温控等,Echo把家庭智能服务以及移动互联网上的APP以API的方式塞到了音箱里面,以语音交互的方式给用户,这是我们看到的第二个趋势。

 大数据视角下的API经济

API很像当年的网站,应用集成很像当年的门户,自然而然我们可以想到应该有搜索引擎存在,而且这块正是我个人要呼吁的。大家都在说苹果不创新了,国内的手机厂商说今天干掉苹果明天干掉谁,大家可以看看,苹果在2015年10月推出的iOS9之后,在通知栏已经可以让我们收到苹果自己的应用。2016年8月份iOs10已经实现第三方APP应用类数据或者API的搜索。以上图片是我们的截屏,在手机里搜美食就可以把美团搜出来,是美团里的数据,不是美团APP。谷歌在数据API上走得较慢,苹果是成功的,谷歌去年10月份推出的手机里面Google Assistant有类似苹果的搜索功能。

大数据视角下的API经济

API真正遇到什么问题呢?最大的问题就是数据孤岛的问题,就像今天陈部长、谢司长说的,越来越多的数据是从移动设备、物联网设备产生的,这些数据不是网站可以用爬虫公开爬到的。今天上午邬院士讲了很多数据开放共享流通的问题,API经济能解决类似的问题,以应用为驱动的方式。

那么应该如何解决数据孤岛问题?据我们对国内一流大企业调研,打开一个典型的政府和央企的信息孤岛要花费数百万人民币,而且这里面从数据开放流通的角度来看,最大的问题是应用开发商成了关键角色,但这个关键角色不合理,因为在大数据里面真正关键角色是数据的产生者和运营者,跟开发商没关系。就像iOS和谷歌,后端数据不好拿,中间逻辑层重构太难,重点就是我们在前面的讲过的,在表现层通过智能感知把数据拿出来,具体的技术就不展开说了,总而言之,这套技术目前除了斯坦福等顶级高校之外,也就是iOs里面有一点。

北京大学从2003年开始做类似的研究,经过十几年研究,得到现在的成果,就是打破APP的边界,在各个不同的APP之间跳来跳去,再也不用关心接下来的APP是要去打车要去订餐,全部可以给你打通。

 大数据视角下的API经济

接下来是邬院士反复强调的,就是数据的安全问题,现在我们通过APP搜索平台搜索到大量的个人数据,然后卖给了别人:在淘宝里的一双鞋在今日头条马上给你推,我们每个人都被边缘化甚至都被忽视掉,没有数据的人权。而利用我们这套API技术则可以解决其中的安全问题,这是我们做的demo程序,你可以看到在你的手机上有什么数据,第一你知道你的数据在哪个地方,第二你也可以知道每天在这些APP里产生了哪些数据,第三只要你授权,我们可以帮你把所有的产生的数据进行优化整合。

 大数据视角下的API经济

这样达到一个什么好处呢?我们解决了数据开放共享流通里个人的问题,第一每个人本身是有权利而且确实知道个人产生的数据在什么地方,第二可以通过API的方式可以把数据取出来,当然我们不能阻止APP厂商使用,因为你跟它签了和约,但是这个数据本身是属于你,但是此前是因为APP根本不提供任何方式让你把数据拿出来,所以数据根本不能使用,而采用我们这一套技术就可以实现个人对数据的掌握。最后你也可以进一步的利用加工,所有这些东西全是在你个人的手机上,永远不会上网,这样就极大保护了个人的隐私,当然这套数据人权保护合不合理、能不能成功,我不知道,我们只是从学术上提供一个可能的探讨思考。

 大数据视角下的API经济

我们同时也在帮政府和企业做了燕云DAAS平台,政府和企业信息系统里的数据全部是政府和企业的,但是今天真正要把它开放的时候,往往受制于系统的开发商和很多其他的因素,这样就给数据开放带来了极大的问题。燕云DAAS提供了API的方式,以API的方式把数据开放出去,可以做到流程可控、来源可溯。

北京大学花了十几年时间,在这套系统软件上做了一套东西,我们希望把互联网、移动互联网以及物联网等分布在各个系统里的数据,在数据拥有者授权的情况下帮它开发出来,帮它进行流通、进行共享,这是一套大的生态,北京大学希望跟产学研各界和政府合作,共创中国特色的而且是领先的API经济。

原文发布时间为:2017年4月1日
本文作者:北京大学软件研究所副所长 黄罡 
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
数据采集 运维 数据挖掘
API电商接口大数据分析与数据挖掘 (商品详情店铺)
API接口、数据分析以及数据挖掘在商品详情和店铺相关的应用中,各自扮演着重要的角色。以下是关于它们各自的功能以及如何在商品详情和店铺分析中协同工作的简要说明。
|
2月前
|
数据采集 监控 算法
利用大数据和API优化电商决策:商品性能分析实践
在数据驱动的电子商务时代,大数据分析已成为企业提升运营效率、增强市场竞争力的关键工具。通过精确收集和分析商品性能数据,企业能够洞察市场趋势,实现库存优化,提升顾客满意度,并显著增加销售额。本文将探讨如何通过API收集商品数据,并将这些数据转化为对电商平台有价值的洞察。
|
3月前
|
数据采集 传感器 人工智能
大数据关键技术之电商API接口接入数据采集发展趋势
本文从数据采集场景、数据采集系统、数据采集技术方面阐述数据采集的发展趋势。 01 数据采集场景的发展趋势 作为大数据和人工智能工程的源头,数据采集的场景伴随着应用场景的发展而变化,以下是数据采集场景的发展趋势。
|
4月前
|
Java Shell 分布式数据库
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
82 0
|
4月前
|
安全 大数据 API
elasticsearch|大数据|elasticsearch的api部分实战操作以及用户和密码的管理
elasticsearch|大数据|elasticsearch的api部分实战操作以及用户和密码的管理
62 0
|
数据采集 数据可视化 算法
电商API接口的大数据分析与挖掘技巧
随着电商行业的快速发展,电商平台上的交易数据量也越来越大。如何对这些数据进行分析和挖掘,从中获取有价值的信息,已经成为电商企业和开发者关注的重点。本文将介绍电商API接口的大数据分析与挖掘技巧。
|
10天前
|
缓存 前端开发 API
API接口封装系列
API(Application Programming Interface)接口封装是将系统内部的功能封装成可复用的程序接口并向外部提供,以便其他系统调用和使用这些功能,通过这种方式实现系统之间的通信和协作。下面将介绍API接口封装的一些关键步骤和注意事项。
|
17天前
|
监控 前端开发 JavaScript
实战篇:商品API接口在跨平台销售中的有效运用与案例解析
随着电子商务的蓬勃发展,企业为了扩大市场覆盖面,经常需要在多个在线平台上展示和销售产品。然而,手工管理多个平台的库存、价格、商品描述等信息既耗时又容易出错。商品API接口在这一背景下显得尤为重要,它能够帮助企业在不同的销售平台之间实现商品信息的高效同步和管理。本文将通过具体的淘宝API接口使用案例,展示如何在跨平台销售中有效利用商品API接口,以及如何通过代码实现数据的统一管理。
|
29天前
|
安全 算法 API
产品经理必备知识——API接口
前言 在古代,我们的传输信息的方式有很多,比如写信、飞鸽传书,以及在战争中使用的烽烟,才有了著名的烽火戏诸侯,但这些方式传输信息的效率终究还是无法满足高速发展的社会需要。如今万物互联的时代,我通过一部手机就可以实现衣食住行的方方面面,比如:在家购物、远程控制家电、自动驾驶等等,背后都离不开我们今天要聊的API接口。
|
29天前
|
数据采集 JSON API
如何实现高效率超简洁的实时数据采集?——Python实战电商数据采集API接口
你是否曾为获取重要数据而感到困扰?是否因为数据封锁而无法获取所需信息?是否因为数据格式混乱而头疼?现在,所有这些问题都可以迎刃而解。让我为大家介绍一款强大的数据采集API接口。