大数据快步迈进实用门槛

简介:

左图 近年来,深圳出入境检验检疫局依托大数据、物联网、云计算等新兴信息技术,打造“智慧口岸”。图为食检中心的工作人员在处理抽检食品的检验数据。

右图 宁夏吴忠市供热公司打造信息化供热平台,通过对供热管网能耗、室内外温度、用户需求热量等进行大数据分析,实现了传统粗放式供热模式向精准供热的转变。 新华社记者 王 鹏摄 新华社记者 鲁 鹏摄

镜头一:“传统唱片公司选择线上直播演唱会,不仅是为了增加传播渠道。网友预定演出时留下自己的QQ号,通过数据挖掘,我们就可以知道某个艺人歌迷的地域分布,最喜欢听什么歌,关注什么新闻等。有的公司据此调整了艺人线下演唱会的安排。”腾讯视频live music音乐总监邓林海说。

镜头二:互联网服装品牌裂帛副总裁大禹说:“柔性供应链的底气就是大数据,我们投入3000多万元开发了一整套系统,能随时看到任何一个品牌某一天某个品类的价格、售罄率,以及自己品牌服装的毛利率和消费者反馈,这样每单只要下300到500件,然后根据预测不断快速翻单。”

镜头三:2015年12月底,《关于认真做好2016年春运工作的通知》中特别提出,要探索利用大数据分析旅客出行规律,创新春运组织,提高服务品质,使广大旅客不仅“走得了”,还要“走得好、走得满意”。

这些都是大数据在垂直行业中的创新应用,而在2015年这个“大数据元年”,类似的应用不胜枚举。这一年,顶层设计出炉,《促进大数据发展行动纲要》发布,“十三五”规划建议中明确提出实施国家大数据战略;这一年,交易体系逐渐形成,贵阳大数据交易所挂牌运营,各地纷纷跟进;这一年,大数据应用更是“生根开花”,来自市场研究机构IDC的报告显示,2012年中国总体数据量占世界的13%,而到2020年将提高到21%。这些数据正在释放能量。

《2015年中国大数据发展调查报告》显示,2015年中国大数据市场规模达到115.9亿元,增速达38%。中国银行副行长朱鹤新表示:“大数据在我国已具备了从概念到应用落地的成熟条件,迎来了飞速发展的黄金机遇期。大数据将在打造社会治理新模式、经济运行新机制、民生服务新体系、创新驱动新格局、产业发展新生态等方面发挥重要作用。”

“游戏规则”渐成体系

在2015年两会上,腾讯董事会主席马化腾的一份建议有关政府数据开放,他表示:“公共数据的开放成为数据基础设施的基石,相互连接和数据共通的重要渠道,当务之急是打破各领域的信息孤岛,推动全社会对信息资源的开发利用。”不到一年的时间里,这一“瓶颈”正随着“游戏规则”的快速建立得以突破。

在诸多游戏规则中,提纲挈领者自然是国务院2015年9月发布的《促进大数据发展行动纲要》(以下简称“《纲要》”),这一顶层设计被视为解决政府数据开放共享不足、产业基础薄弱、缺乏统筹规划、创新应用领域不广等一系列问题的“抓手”。拿政府开放数据来说,《纲要》提出,2017年底前形成跨部门数据资源共享共用格局;2018年底前建成国家政府数据统一开放平台,率先在信用、交通、医疗、卫生、就业、社保等重要领域实现公共数据资源合理适度向社会开放。国家信息中心信息化研究部副主任单志广认为:“这体现出政府促进大数据开放与共享的决心。”

纲举目张,2015年也由此成为各部委和各地政府的“数据开放年”。农业部在2015年底发布的《关于推进农业农村大数据发展的实施意见》中提出,“农业部各类统计报表、各类数据调查样本和调查结果、通过遥感等现代信息技术手段获取的数据、各类政府网站形成的文件资料、政府购买的商业性数据等在国家农业数据中心平台共享共用。”在地方,北京、上海、佛山、青岛、贵州等多个省市的数据开放平台已纷纷上线,拿上海来说,目前已初步建立实有人口库、法人库、空间地理等三大基础信息库,累计编制资源目录数1.1万条、数据项14.58万个,政务数据资源目录体系逐渐成型。

不过,开放只是应用的基础。在浪潮集团董事长孙丕恕看来,数据要体现价值,还必须走市场化的道路,在政府开放数据之外,还要使数据交易和交换“常态化”。大数据交易平台也由此应运而生。

2015年4月,全球第一个大数据交易所贵阳大数据交易所挂牌,7月,长江大数据交易所(筹)和东湖大数据交易中心在武汉成立,12月华东江苏大数据交易中心平台上线运营。贵阳大数据交易所执行总裁王叁寿介绍说,截至2015年底,贵阳大数据交易所交易金额突破6000万元;会员数量超过300家,接入的数据源公司超过100家,数据类型涵盖贸易通关大数据、专利类大数据、企业征信大数据、企业工商大数据等,数据总理超过10PB。

创新应用纵深发展

“2015年下半年,不少多年无法执行到位的案件的被执行人会突然找到法院来,要求还清欠款,把自己从‘老赖’名单中抹去,这就是执法创新结合互联网大数据所体现出的能量。”广东省中山市第一人民法院法官王念颇为感慨。

“老赖”是对拒不执行判决、裁定的被执行人的形象称呼。2015年7月,最高人民法院与芝麻信用合作,开创了通过互联网联合信用惩戒的先河。在与芝麻信用合作的各平台商家中,“老赖”无法预订机票、软卧车票、三星级以上酒店甚至度假产品。半年里,共计5300多名失信被执行人因此还清债务,其中1500多名失信被执行人是长达三四年、一直逃避执行的“老赖”。

这正是互联网大数据创新应用的一个缩影,其基础是我国高度成熟的消费互联网。与“真金白银”挂钩,这也成为大数据创新应用最活跃的领域。

电子商务、物流配送、互联网金融、O2O,垂直领域的大数据应用正在切实帮助企业提升效率,创新模式。在电商领域,京东目前数据总存储量达到50+PB,年增长300%。大数据已经全面用于用户消费行为的深度挖掘、精准营销、销量预测与库房自动补货、搜索推荐系统的持续优化等环节。滴滴出行战略负责人朱景士则表示:“滴滴每天数据分析量级是50TB,大约是5万部高清电影,每天连续上传的定位数据是50亿次。根据这些数据,滴滴可以不断提高算法精度,优化路线,比如我们在上海为乘客推荐上车地点,设立了滴滴车站,就能让司机更容易找到乘客。”

而在消费互联网之外,大数据应用还在向产业互联网延伸。一方面,为用户“画像”,让企业对用户进行细分,提升业务精准度成为热门。2015年12月23日,大数据服务商百分点发布用户标签管理系统。百分点董事长苏萌告诉记者,通过这样的系统,企业能够根据业务需求定义用户标签,并且直接利用组合功能创建新标签,从而迅速找到目标用户,“支撑企业快速对接大数据技术及数据服务,实现智能化的业务应用”。

在另一方面,在生产端,大数据的“流动”同样帮助企业提升智能制造水平。软控股份有限公司总裁郑江家表示:“轮胎制造的密炼环节像‘和面’,通过打通数据流,可以实现上下工序的智能互动。如果‘水’多‘面’软,这些数据就会被传输到下一步压胶环节,就能自动把‘饺子皮’擀得厚一点,不再需要人工处理。产品品质也就提升了。”山东省青岛市经济和信息化委员会主任项阳青也认为:“数据驱动是智能制造的关键,这才能带来基于互联网思维下的全生命周期创新。”

本文转自d1net(转载)

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
机器学习/深度学习 存储 分布式计算
【云栖号案例 | 制造】明源云通过数加平台降低大数据的应用门槛
明源云存在数据的缺散乱现象同时需要将纸质数据搬到云端数据库上。上云后从存储、计算、上层应用,提供一整套的解决方案,与阿里云生态共同成长。
【云栖号案例 | 制造】明源云通过数加平台降低大数据的应用门槛
|
存储 运维 分布式计算
零门槛构建弹性大数据云分析平台
从基础设施、运维管理、云生态等角度,详细了解下云托管的部分优势。
零门槛构建弹性大数据云分析平台
|
算法 大数据 数据挖掘
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
46 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
37 0
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
33 0
|
2月前
|
分布式计算 DataWorks BI
MaxCompute数据问题之运行报错如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 1
|
2月前
|
分布式计算 关系型数据库 数据库连接
MaxCompute数据问题之数据迁移如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
31 0
|
2月前
|
分布式计算 Cloud Native MaxCompute
MaxCompute数据问题之没有访问权限如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
3天前
|
数据采集 搜索推荐 大数据
大数据中的人为数据
【4月更文挑战第11天】人为数据,源于人类活动,如在线行为和社交互动,是大数据的关键部分,用于理解人类行为、预测趋势和策略制定。数据具多样性、实时性和动态性,广泛应用于市场营销和社交媒体分析。然而,数据真实性、用户隐私和处理复杂性构成挑战。解决策略包括数据质量控制、采用先进技术、强化数据安全和培养专业人才,以充分发挥其潜力。
10 3