【观察】DT WORLD!站在同一起跑线思考大数据的未来

简介: 观察2016云栖大会上海峰会,包含“数据创业要学习小岗村”的王坚;集阿里巴巴十年大数据能力于一身的一站式大数据平台——“数加的20款产品;针对混合云、深度学习、金融云和创客+等应用场景的四家战略伙伴的分享;绘制更丰富云计算生态的报告和评选。
1月20日,2016云栖大会上海峰会在上海科技馆隆重举行。 随着大数据、云计算的发展,整个互联网正在从IT时代向DT时代演进,本次峰会通过60+场高浓度技术演讲、4场开放实验室动手实践、重磅产品大数据平台 发布、多家战略伙伴合作计划阐述,以及近百位一线专家现场实力分享,用真实场景和实战解析下的大数据技术为企业和公众敲开了DT世界的大门。DT时代,互联网是基础设施,数据是生产资料,计算是公共服务, 所有企业都在同一条起跑线上,迎来了新转型与发展的机会。

王坚:数据创业要学习小岗村

作为中国云计算技术最为坚实的布道者,王坚博士一直站在产业一线。他对于互联网、计算和数据的理解与分析,推动着产业的思考和认知。

会上,王坚表示,因为有了互联网+数据+计算产生了巨大的价值,使得人类有机会看到以前从来没有看到的东西,看到历史上没有的东西。正如伽里略发明天文望远镜,让人类突然意识到世界不是原来眼睛看到的 那样,“我们不是因为知道世界是什么样而去发明了望远镜,而是因为我们有了望远镜,才知道世界是什么样。”也正如显微镜一样,“传统行业或者传统软件公司不觉得鼠标点击有意义有价值,不觉得那是一个活 生生的世界,但是互联网是把它当生命来看。在互联网上点击鼠标就能知道用户的兴趣,能创造价值,这是互联网公司真正的能力,而不是别的东西,这是显微镜的作用。”同样,还有雷达的比喻。

在他看来,互联网、数据和计算就像人类历史上三个非常重要的工具——望远镜、显微镜和雷达的发明,让人类看见了原来看不见的世界。

这个世界是大数据的世界。尤其是在互联网基础设施已经完善的基础上,数据就像土地、石油、煤一样,成为DT时代的生产资料。为了利用好数据这一生产资料,发挥出数据的巨大价值,王坚号召在场近2000位与会 者学习小岗村的农民,做互联网时代地球村的“数据农民”。

“关于数据这件事情,大家都处于像中国三十年前改革开放的起点,不知道土地上种什么,种的东西不知道是谁拥有的。”王坚强调,“在座的各位有一次机会,我们一起为全世界做一次小岗村农民做的事情,思考 如何让土地产生价值,如何让数据产生价值,并且产生的价值不会有纠纷,所有权清晰。这是数据产业非常重要的机会。”

王坚认为,当互联网变成基础设施、数据成为生产资料、计算成为公共服务的时候,所有的企业、所有的行业又站在同一条起跑线上:个人创业者的影响力可以和一万人的大公司影响力相比,而一万人的大公司又具 备了小公司的灵活性。


数加:20款产品覆盖数据生产全链条

如果统计现场拍照次数,集阿里巴巴十年大数据能力于一身的一站式大数据平台——“数加”最为吸睛。首批亮相20款产品,覆盖了数据采集、计算引擎、数据加工、数据分析、机器学习、数据应用等数据生产全链 条。“在技术上至少领先业界三年”,阿里云大数据事业部资深总监徐常亮说,“数加”承载了阿里巴巴EB级别的数据加工计算,经历了上万名工程师的实战检验。

具体来看:

Datahub是数加上的一款数据采集产品,可为用户提供实时数据的发布和订阅功能。写入的数据可直接进行流式数据处理,也可参与后续的离线作业计算。Datahub同主流插件和客户端保持高度兼容。

大数据计算服务MaxCompute(原ODPS)、分析型数据库Analytic DB、流计算StreamCompute共同组成了底层强大的计算引擎。大数据计算服务可6小时处理100PB数据,相当于1亿部高清电影。单集群规模过万台,并支

持多集群联合计算。做到了速度更快,成本更低。经测算,自建Hadoop集群的成本是数加的1.5倍,国外计算厂商AWS 的EMR成本更是数加的5倍。阿里云当天还宣布,大数据计算服务再降价50%。

流计算擅长对实时流式数据进行分析,具有低延时、高性能的特点。每秒查询率可以达到千万级,日均处理万亿条消息、PB量级的数据。

计算引擎之上,“数加”提供了最丰富的云端数据开发套件,开发者可一站式完成数据加工。这些产品包含:数据集成、数据开发、调度系统、数据管理、运维视屏、数据质量、任务监控。整体来看,大数据开发套 件的优势包括:支持100人以上协同设计、开发、运维;具有良好的扩展性;提供各个产品功能模块的Open API,可二次开发;多个数据实例之间的数据授权机制,确保数据只能使用却不可见;提供白屏化的运维能力 ,以及字段级数据质量监控、机器预警、资源使用率监控等功能,让用户更好的掌控自己的数据及数据任务。

在数据分析方面,数加提供了3款产品供开发者使用:
  • 通过移动数据分析产品,开发者可快速搭建日志采集、分析系统,从而为用户提供个性化服务;
  • 通过数加BI报表产品,3分钟即可完成海量数据的分析报告。产品支持多种云数据源,提供近20种可视化效果。
  • 通过数据可视化产品DataV,一星期就能做出双11同款大屏。这款产品,曾支持了阿里巴巴多年的双11、双12作战指挥。
同时,基于DataV,数加还发布了面向政府的行业应用产品“郡县图治”。通过这款产品,县长可以在一个屏幕下统览全县各项经济民生数据,为政府决策提供辅助。

对于时下大热的机器学习,数加更是提供了全面支持。“数加”发布的机器学习工具,可基于海量数据实现对用户行为、行业走势、天气、交通等的预测。图形化编程让用户无需编码、只需用鼠标拖拽标准化组件即 可完成开发。产品还集成了阿里巴巴核心算法库,包括特征工程、大规模机器学习、深度学习等。

为了能够帮助开发者更快捷在应用中集成大数据功能,“数加”同时提供了规则引擎、推荐引擎、文字识别、智能语音交互等数据应用产品。

  • 规则引擎是一款用于解决业务规则频繁变化的在线服务,可通过简单组合预定义的条件因子编写业务规则,并做出业务决策。比如,银行会设置如果10分钟内用户在两个省份交易,则需要电话确认。
  • 推荐引擎是一款用于实时预测用户对物品偏好的数据工具,它能够帮助客户发现众多物品中用户最感兴趣什么。
  • 文字识别提供自然场景下拍摄的图片中英文文字检测、识别以及常见的证件类检测和识别。
  • 智能语音交互基于语音和自然语言技术构建的在线服务,为智能手机,智能电视以及物联网等产品提供“能听、会说、懂你”式的智能人机交互体验。

产品惊艳之后,还有四家战略伙伴的深度合作解读,精准指向不同应用场景。

场景:混合云、深度学习、金融云和创客+

第一是OpenStack的混合云场景。OpenStack服务商九州云(99Cloud)与阿里云达成战略合作,将共同研发企业级混合云平台,向用户提供弹性、敏捷及安全可控的混合云解决方案。具体来看,在双方的合作中,阿里 云将公共云具备的弹性伸缩、海量扩展的优势延伸至专有云,打造无缝连接、可弹性扩展升级的混合云部署方案。九州云将通过针对性的专用插件开发,实现在阿里云平台上OpenStack产品的深度集成,从而为企业客 户提供一站式的混合云管理服务。未来,九州云还将结合阿里云便捷高效的网络服务——高速通道,让企业内部的专有云、线下数据中心,能够就近接入公共云,组建混合云架构,实现企业内部资源与混合云资源的 打通与统一管理。

九州云董事长兼首席执行官张淳表示:“混合云与专有云就像租赁汽车与私家车一样,全方位满足用户在不同场景下的出行需求。此次九州云与阿里云的战略合作正是基于双方对市场发展的共识,强强联合能够更好 地将九州云在OpenStack技术、专有云解决方案和行业用户市场开拓方面的资源、管理优势以及阿里云在云计算与大数据领域的优势带到企业级市场,更好地满足企业需求,增强企业在云平台应用中面临的现有资源优 化利用、安全可控性和灵活敏捷性等方面的需求,进一步降低IT成本。”

阿里云资深总监李津也认为:“技术没有门派,服务没有边界,任何技术的诞生都是源于最终用户的需求。阿里云希望通过跟九州云等生态伙伴的合作,让所有用户能够分享到生态伙伴的服务能力,让公共云的海量

计算能力更便捷的去触达他们。这才是今天阿里云整个生态的价值,这也是云计算带给我们联结在一起的价值。”

第二是深度学习,尤其是在性能计算领域(HPC)场景。NVIDIA(英伟达)与阿里云签署战略合作协议,双方将共同推广阿里云高性能计算平台HPC,大力拓展深度学习市场,并建立联合实验室,进行高性能计算领域 技术的联合攻关。

实际上,阿里云HPC于去年底正式对外商用,每个计算节点配备2颗专属NVIDIA Tesla K40 GPU和2颗CPU。用户可通过阿里云官网购买GPU服务器实例。这是中国首个云上高性能计算平台。阿里云首席科学家章文嵩表示 :“深度学习领域的创业创新企业是阿里云HPC最重要的客户群之一,未来阿里云将发挥自身在公共云计算领域的优势和高性能计算领域积累的应用经验,与英伟达一起为深度学习的新兴企业提供更加强大的支持。”

NVIDIA全球副总裁Shanker Trivedi表示:“我们非常高兴能够基于中国最大的云服务平台——阿里云为客户提供GPU计算服务,用户不仅可以通过云体验到最新的GPU技术,NVIDIA也将发挥在技术平台、生态系统和全 球用户经验,与阿里云一起为人工智能、深度学习等领域的新兴企业创新提供有力的支持。”

阿里云HPC负责人王琤介绍,阿里云不仅提供硬件和基本系统,更为HPC准备了Docker实例、调度系统、监控平台,以及针对深度学习的训练、预测中间件和工具。

据悉,阿里云将联合英伟达一起合作拓展深度学习市场,大力扶持深度学习创新企业,包括深度学习、人工智能、机器人等方向。阿里云也将成为英伟达官方推荐云上深度学习平台。尤其值得一提的是,阿里云开放 了全世界唯一的NVIDIA Kepler架构GPU原生汇编器及NVIDIA CUDA(Compute Unified Device Architecture)占用计算器,这是阿里内部性能调优的“独门秘技”。阿里用这款汇编器优化出了目前在Kepler架构GPU上 最快的卷积、矩阵乘法实现。

第三是金融多个性化的场景。润和软件与阿里云正式签署战略合作框架协议,将双方的产品与解决方案深度整合,为金融行业客户提供端到端的“一站式”金融信息化解决方案。润和软件将逐步把直销银行、移动金 融业务平台、分支行创新特色业务端、供应链金融、小微贷及其风控平台、基金代销平台、新一代架构银行核心、巴塞尔III备注风控平台、财险核心及其业务系统迁移至云端,从而将自身的金融IT服务能力输出给上 云的银行、保险、泛金融行业等机构。

润和软件高级副总裁钟峻表示:“过去,行业一直认为‘技术是银行的保障’,而未来将是‘技术引领银行的发展’。如果不了解、无法驾驭新的技术,就没法去构想未来金融王国的样貌。所以,云计算就是现阶段 能够为金融机构带来切实改变的技术。也正是基于这样的共识,润和软件牵手阿里云,共同探索‘金融产品云端化、金融机构云端化、金融服务云端化、金融创新云端化、金融风险控制云端化’的行业发展方向。”

在阿里金融云总经理徐敏看来,二者合作所要达到的最终效果,就是解决银行客户的痛点,让他们在云上的业务创新能够像“拎包入住”那样简单。

第四是“创客+”。阿里云“创客+”与优客工场正式签约,宣布将共同推动阿里云“创客+”在优客工场基地落地,为创新创业者提供更多支持,赋能创业生态。此次合作的第一站将落地于高校云集的北京海淀区,双

方共同打造阿里云+优客工场。未来,在这栋总面积达11000平方米的四层通顶天井办公楼中,入驻阿里云+优客工场的创新创业者就能在拥有“有范儿有料有态度”为特色的自定义办公环境的同时,拥有其他全方位的

创业配套资源支持。优客工场创始人毛大庆表示:优客工场将与阿里云“创客+”一起,去通过“生态、社群、共享、大数据”把能量、资源、优势充分地赋能给创业者,成为创业者的后盾和战友。

报告和评选:绘制更丰富云计算生态

主题分享之外,还有一份重要发布——《2015-2016中国云栖创新报告》。在阿里云计算、大数据的全量在线数据分析的基础上,报告首次推出“中国云栖指数”,用于量化描述中国云上创新创业的进程。“中国云栖 指数”由“云服务投资指数”、“云计算力指数”、“大数据指数”、“云应用创新指数”、“云应用需求指数”5 个子指数构成,并依照不同指数值形成中国云创城市排行榜、中国云创省份地图、中国云创行业地 图、中国云服务投资地图、中国云计算力地图、中国大数据地图、中国云应用地图等专项分析。描绘出“中国 DT 经济图谱”,为全国各地的创业公司选址、行业人才招募、创新园区定位、投融资渠道,提供真实性 高、可视化强、全面化的双创产业发展指南。

云栖联盟联合ITValue、钛媒体发起了2015首届云栖奖评选,旨在寻找更多善用云计算技术和资源,引领企业迈向DT时代的最佳CIO、CTO,来帮助云上创业创新项目迅速成长,在这个行业中具有榜样效应的孵化机构和 伯乐。借由分享更多创新榜样的经历,来帮助更多企业借助云和大数据“弯道超车”,更快找到DT时代的入口。

大会虽然已经圆满落幕,但留给产业和企业用户的思考还有很多。

如果您对2016年云栖大会有任何建议,欢迎联系云栖社区。
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
分布式计算 安全 大数据
【阿里云大数据产品MaxCompute(原名ODPS)】DT时代企业数据资产的护卫舰
MaxCompute设计之初就是面向多租户,确保租户的数据安全是MaxCompute的必备功能之一。在MaxCompute系统的安全设计和实现上,MaxCompute的工程师们会遵循一些经过实践检验的安全设计原则(如Saltzer-Schroeder原则)。
4286 0
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
47 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0