国内互联网大数据的发展现状和应用

简介:

摘要:随着互联网用户激增,手机已经实现了数据化、宽带化。在浏览网站上、使用设备上、通信服务系统里,数据都以指数级的速度增长。而具有资源优势的运营商正好位于大流量、大数据信息“金矿”上。目前大数据应用相对其他产业比较成形的就是互联网企业,这些握有大量数据资产的互联网企业正急于如何将大数据信息化转化为商业价值。

一.国内互联网的大数据产业政策及现状

(1)国内互联网的大数据产业政策

目前我国互联网的大数据产业兴起不久,对其相关政策、规定、监管办法等还没有完善。但是近年政府部门在相关领域的指导政策对互联网大数据产业进行了肯定和支持。《国务院关于促进信息消费扩大内需的若干意见》出台,国家层面上已经意识到互联网基础设施会对信息消费的产业产生非常大影响。国家将推动“信息消费”作为一种经济发展战略,除了直接拉动消费、扩大内需之外,有助于推进第三产业,特别是信息服务业的转型升级,并有望成为推动中国经济持续增长的新着力点。

信息消费将在相当长时间内成为中国拉动有效需求、稳定经济增长的强力引擎,是继住房、汽车之后的消费热点与亮点。从而给互联网大数据产业的成长打下了政策基础。

其中《关于大力发展电子商务加快培育经济新动力的意见》和2014年信贷政策工作意见,都表明了政府对互联网创新型企业融资的支持和推动互联网大数据产业发展的意向。

(2)互联网大数据产业发展现状

随着互联网用户激增,手机已经实现了数据化、宽带化。在浏览网站上、使用设备上、通信服务系统里,数据都以指数级的速度增长。而具有资源优势的运营商正好位于大流量、大数据信息“金矿”上。目前大数据应用相对其他产业比较成形的就是互联网企业,这些握有大量数据资产的互联网企业正急于如何将大数据信息化转化为商业价值。

目前互联网大数据应用主要已经开始改变传统运营方式和盈利模式,并取得一定成功。主要集中体现在两大方面:

①提升用户体验,进行精细化运营,提高网络营销效率。互联网企业以及运营商拥有下面类数据:一是用户账号里基础数据。二是协议类型如套餐服务得到的用户消费能力。三是业务类型数据,如用户选择的游戏、阅读、音乐类,代表个人兴趣、爱好的数据。四是访问的URL。用户经常看的网站、搜索关键词等。五是终端信息,每个终端能力、特征不同,最终使用的业务也会不同。

基于以上数据,通过大数据分析手段,找到最合适和满足用户需求的产品特点,从而指导产品设计开发,业务上线后持续跟踪分析用户的在线订购、使用问题等,为优化业务策略提供数据支持,提高业务质量和客户体验。最终达到精细化网络营销,提高客户满意度和销售效率。像谷歌、阿里、百度这种互联网巨头企业在这方面已经比较成熟,并且其收入很大比例也是来源于此。

②在互联网大数据助推下进行的商业模式创新及业务的延伸。大数据不仅帮助企业优化运营绩效,更重要的是,互联网大数据给企业带来了业务创新的机遇和能力。例如未来全球电子商务一定是社会化的,因为没有任何一家公司有能力建立一家快递公司运货到全世界各地,也没有任何一家公司能够采购到全世界的商品卖给全世界的消费者。而阿里巴巴通过打造商业的基础设施,吸引卖家、快递等各方公司参与,通过这种商业创新模式将各行业企业连接到生态圈里,进而打造全球电子商务的一体化。

此外互联网大数据应用日益得到人们的认可,越来越多的行业开始关注、开发应用互联网大数据。医疗保健、零售商、制造业等传统行业已开始积极挖掘互联网数据带来的商业价值。

(3)应用现状

自从上世纪70年代驶入信息高速公路,互联网始终在不断发展中前进。今天的人们从联系平台到浏览平台,到交互平台,到工作平台,逐步进入大数据时代。互联网行业积累的数据,对于企业和个人都有很大价值。总结互联网大数据,可以根据数据来源分为14类数据:电商数据,支付数据,交友数据,社区数据,新闻资讯数据,视频数据,浏览器数据,搜索数据,游戏数据,音乐数据,旅游数据,地图数据,餐饮数据,ID数据。其中以百度为首的搜索引擎企业的优势在于搜索数据、浏览器数据;以阿里为首的电商企业的优势在于电商数据和支付数据;以腾讯为首的社交类企业的优势在于交友、游戏等数据。对不同类型的数据进行挖掘,对于企业和个人甚至政府都具有较高的价值。

二.互联网大数据市场规模及需求分析

(1)国内大数据市场规模

根据国务院印发的《国务院关于促进信息消费扩大内需的若干意见》规划,到2015年,中国信息消费规模超过3.2万亿元,年均增长20%以上,带动相关行业新增产出超过1.2万亿元,其中基于互联网的新型信息消费规模达到2.4万亿元,年均增长30%以上。

按此推算,信息消费的增量部分规模将占到GDP增量部分规模的12%左右,每年为GDP增长贡献大约1个百分点,并且可以带动全国相关产业的发展,这将极大地促进中国经济持续、平稳地发展。基于电子商务、云计算等信息平台的消费快速增长,自2014年中国互联网用户数据市场进入快速发展。预计2020年国内互联网大数据市场规模总量将突破320亿人民币。

  2014-2020年中国互联网大数据应用市场规模

(2)国内大数据需求分析

传统产业人士通常认为大数据是大型互联网公司的“专利”。当阿里通过互联网平台将大数据应用连接到传统企业,并带来巨大的商业价值后,通信行业、金融行业、服务零售业以及传统的装备制造业等,都纷纷开始进军大数据。

根据调查显示,32.5%的公司正在搭建大数据平台,处于测试阶段;约29.5%的公司已经在生产环节实践大数据,并有成功的产品。总体看目前正在开发和已经使用的大数据应用平台占比超过6成,而准备开发的占24.52%,并且这个比例还会日渐上升,说明企业对大数据的需求明显加大。

  企业大数据平台使用情况

目前互联网大数据平台应用场景主要集中在社交网络、B2C业务、精准营销、在线音视频业务、广告监测五大方面。最终目的都是将互联网数据资源转化为商业资产进行变现。因此很多企业积极组建大数据研发团队。据调查显示,对大数据有需求的公司中,超三成的研发团队仅有1-10人,次居第二的10-50人的规模占到了25.65%,两种规模的研发团队就超过5成。可见,当下对大数据的需求已经不止大型公司,大数据的市场需求正不断增长。

  企业大数据研发团队规模

三.国内大数据竞争格局

从目前互联网数据资源和市场影响力情况看,国内大数据竞争格局主要成3个梯队:

第一梯队:企业规模及用户覆盖全国的大型互联网公司。这些互联网公司在数据库体量、数据处理深度及速度、平台效应、研发实力及营销精准度带方面上都是国内相较成熟的。这些公司市值达到千亿。目前国内企业中的百度、阿里、腾讯互联网巨头云平台覆盖率占较高比例,也是中国互联网大数据行业的领军者。

第二梯队:专业领域企业大数据公司,这些企业在数据量、平台效应等虽然没有BAT那样强大,但在某些细分领域中有一定突破优势。如人民网、拓尔思等的舆情监测分析,美亚柏科网路信息安全的大数据应用,天泽信息的车联网IT服务上都有自己的特色。

第三梯队:初创型互联网大数据公司。国内除去百度、阿里等巨头公司自身有实力研发使用大数据,其他大部分公司数据需要第三方公司提供服务。初创型大数据公司针对某一垂直领域,选取不同受众进行数据处理分析,从而为目标客户搭建数据大平台。这类公司目前处于初创期但发展潜力值得期待,如永洪科技、聚道科技、智拓通达等。

四.国内大数据主要公司的核心竞争力

当前互联网大数据的积累和应用以百度、腾讯和阿里巴巴较为成熟。BAT在大数据的应用上虽然有共同的地方,但由于各自的数据来源和商业模式的不同,其大数据应用也有不同的特色。

百度、阿里巴巴和腾讯三大互联网企业都拥有大数据,三大互联网巨头的数据都用来优化自己业务的运营效果,从这个层面看,其数据价值应用场景比较类似。但由于其业务和商业模式的不同决定了三者数据资产的不同,也决定了三者未来大数据策略的不同,尤其是基于大数据的开放和合作角度看,百度和阿里巴巴相对更加开放。对于重视大数据开放和合作的互联网企业,他们最为期待的是借着大数据开放的策略,与更多的传统行业交换更多的数据,从而更好的丰富线下数据,形成线上和线下数据的协同,从中拓展新的商业模式,如智能硬件和健康大数据等。

(1)百度

①百度大数据来源

最重要的是来源是通过爬虫搜集的100多个国家的近万亿网页数据,数据量是在EB级的规模。其中包括网页数据、视频和图片等数据,也有结构化的数据,如用户的点击行为数据,广告客户的付费行为数据等。

②百度大数据服务三类人群

第一类是互联网网民,通过大数据和自然语言处理技术让网民的搜索更加准确;第二类是广告主,通过大数据让广告主的广告和搜索关键词的匹配度更高,或者和网民正在浏览的网页内容匹配度更高;第三类也是在重点推进的是百度大数据引擎,重点服务传统行业拥有较大数据体量的企业。

③百度大数据引擎构成

百度大数据引擎代表了互联网企业数据服务能力开放和合作的趋势,百度大数据引擎由以下三方面构成:开放云、数据工厂、百度大脑。

百度大数据引擎的作用具体体现在两方面:

·对于政府机构:利用百度大数据引擎的大数据能力,则可以政府相关部门规划和运营管理,如卫生部门拥有流感报告数据、全国流感样病例哨点监测和病原学监测数据,如果和百度的搜索记录及全网数据结合,便可进行流感预测、疫苗接种指导。

·对于企业:很多企业也拥有海量大数据,不过很多企业的大数据处理和挖掘能力比较弱,如果应用百度大数据引擎,则可以对海量数据进行可靠低成本的存储,进行智能化的由浅入深的价值挖掘。

  (2)阿里巴巴

阿里巴巴大数据整体发展方向是以激活生产力为目的的DT(datatechnology,数据技术驱动)数据时代发展。阿里巴巴大数据未来将由“基于云计算的数据开放+大数据工具化应用”组成:

·基于云计算的数据开放。云计算使中小企业可以在阿里云上获得数据存储、数据处理服务,也可以构建自己的数据应用。阿里分布式的存储平台和在这个平台上的算法工具,可以更好的为数据开发者所用;阿里的大数据开放之后,线上线下的数据能够串联起来,所有人都是数据提供方,也是数据的使用者。

·在大数据应用上,马云已经在整个数据应用上确定了两个方针:

第一个方针:从IT到DT(数据技术),DT就是点燃整个数据和激发整个数据的力量,

被管理所用,被社会所用,被销售所用,为制造业所用,为消费者信用所用。

第二个方针:让阿里巴巴的数据、让阿里巴巴的工具能够成为中国商业的基础设施。阿里巴巴已经开始在转型,阿里将由自己直接面对消费者变成支持电商面对消费者,阿里会根据其已有的运营和数据经验,开发更多的工具,帮助网商成长,让网商们更懂得用最好的工具去服务好消费者。

(3)腾讯

腾讯的大数据目前更多的是为腾讯企业内部运营服务,相对于阿里和百度,数据开放程度并不高。但腾讯大数据在服务企业内部的应用场景和服务上有自己的优势。

腾讯90%以上的数据已经实现集中化管理,数据集中在数据平台部,有超过100多个产品的数据已经集中管理起来,而且是集中存储在腾讯自研数据仓库(TDW)。腾讯大数据从数据应用的不同环节可以分为四个层面,包括数据分析、数据挖掘、数据管理和数据可视化。

·数据分析层面有四个产品:自助分析、用户画像、实时多维度分析和异动智能定位工具。

·数据挖掘层面的产品应用:精准广告系统、用户个性化推荐引擎和客户生命周期管理。

·在数据管理层面则有:TDW(腾讯数据仓库)、TDBank(数据银行)、元数据管理平台和任务调度系统和数据监控。

·在数据可视化层面有:自助报表工具、腾讯罗盘、腾讯分析和腾讯云分析等工具。





====================================分割线================================


本文转自d1net(转载)

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
13天前
|
存储 消息中间件 监控
【Flume】Flume在大数据分析领域的应用
【4月更文挑战第4天】【Flume】Flume在大数据分析领域的应用
|
26天前
|
Cloud Native 数据处理 云计算
探索云原生技术在大数据分析中的应用
随着云计算技术的不断发展,云原生架构作为一种全新的软件开发和部署模式,正逐渐引起企业的广泛关注。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势与挑战,并探讨如何利用云原生技术提升大数据分析的效率和可靠性。
|
1月前
|
存储 消息中间件 大数据
Go语言在大数据处理中的实际应用与案例分析
【2月更文挑战第22天】本文深入探讨了Go语言在大数据处理中的实际应用,通过案例分析展示了Go语言在处理大数据时的优势和实践效果。文章首先介绍了大数据处理的挑战与需求,然后详细分析了Go语言在大数据处理中的适用性和核心技术,最后通过具体案例展示了Go语言在大数据处理中的实际应用。
|
23天前
|
数据采集 分布式计算 大数据
Java语言在大数据处理中的应用
传统的大数据处理往往依赖于庞大的数据中心和高性能的服务器,然而随着大数据时代的到来,Java作为一种强大的编程语言正在被广泛应用于大数据处理领域。本文将探讨Java语言在大数据处理中的优势和应用,以及其在分布式计算、数据处理和系统集成等方面的重要作用。
|
15天前
|
NoSQL 大数据 数据挖掘
现代数据库技术与大数据应用
随着信息时代的到来,数据量呈指数级增长,对数据库技术提出了前所未有的挑战。本文将介绍现代数据库技术在处理大数据应用中的重要性,并探讨了一些流行的数据库解决方案及其在实际应用中的优势。
|
20天前
|
机器学习/深度学习 人工智能 数据可视化
基于Python的数据可视化技术在大数据分析中的应用
传统的大数据分析往往注重数据处理和计算,然而数据可视化作为一种重要的技术手段,在大数据分析中扮演着至关重要的角色。本文将介绍如何利用Python语言中丰富的数据可视化工具,结合大数据分析,实现更直观、高效的数据展示与分析。
|
27天前
|
存储 NoSQL 大数据
新型数据库技术在大数据分析中的应用与优势探究
随着大数据时代的到来,传统数据库技术已经无法满足海量数据处理的需求。本文将探讨新型数据库技术在大数据分析中的应用情况及其所带来的优势,为读者解析数据库领域的最新发展趋势。
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
46 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
34 0