不要犹豫 了解这些即可玩转阿里云ODPS

  1. 云栖社区>
  2. IT168>
  3. 博客>
  4. 正文

不要犹豫 了解这些即可玩转阿里云ODPS

青衫无名 2017-09-01 11:24:00 浏览1050
展开阅读全文
文章讲的是不要犹豫 了解这些即可玩转阿里云ODPS从7月8日,阿里云ODPS正式开放商用至今已有一周有余,网上关于ODPS商用的话题热度非常之高,除了好事儿的不怕热闹的过来瞧瞧之外,对于那些真正憋了多年,决心将大数据事业进行到底的企业用户,他们“圣战”的时刻终于到了。

  关于ODPS平台的诸多优势,以及对产业的影响,已经有太多篇幅的报道了,本文不想过多的做重复报道,重点是从用户角度出发,发掘他们对ODPS的需求,进而帮助用户更好的应用ODPS。

  通过对这些用户调查了解到,他们更关心ODPS是否安全、咋用、好不好用、需要作何准备、价格是否公道等等。也看出了这些用户的可爱之处,同时也看到他们对ODPS的期望(或许是市面上这些所谓的大数据平台对他们来说不怎么靠谱)。

不要犹豫 了解这些就可以玩转ODPS
▲阿里云ODPS商用大数据平台

  开门见山ODPS是什么?能干什么?

  要想了解ODPS,不妨先看一下阿里云的整体架构:最底层是Linux+PC Server,上层软件是飞天,飞天是阿里云09年开始开发的一款分布式系统软件,主要提供分布式存储和分布式计算的调度、编程框架。开发语言是C++, 2013年该系统在生产环境支持调度5000台机器的集群。

  ODPS是在飞天之上提供的一套服务,功能包括SQL,基于java的Mapreduce编程框架,图计算编程模型,一系列机器学习算法的实现等等。所有的功能是以RESTful API的形式对外提供,所以从系统边界上说,这层API隔离了ODPS平台和用户的系统,和hadoop的区别也很明显。ODPS设计之初就是为了对外开放,做基于互联网的多租户的公共数据处理服务,所以安全性在ODPS的设计和实现中具有最高的优先级。

  简单来说,ODPS(Open Data Processing Service)是一项Web服务,大家不用花大钱建数据中心,就能分析海量数据。看到这个介绍,大概就知道ODPS是干嘛的了。也可以和自建数据中心做个区分。

  按照阿里云测试,100PB的数据任务可在六个小时内跑完,这个数据量相当于1亿部高清电影,够厉害了吧。

  使用ODPS安全性靠谱吗?

  有这个疑问的用户,说明对云计算本身还有一些顾虑,也说明企业对云计算有尝试的需求。的确,数据是企业的核心资产,这个已经被广泛认识到了,以至于企业采用非常多的手段对数据进行保护。企业应该认识到,自己的数据保存到服务器中,肯定会面临机房安全、黑客攻击、内部流程和人员安全等多项挑战,做到这些防护就能100%的安全了吗?这里要打个问号。

  安全问题是老生常谈,但是不谈就打消不了用户的疑虑,这里就做个说明。可以说,现在对云计算安全的顾虑,就跟当年对公共电网的顾虑一样。现在谁不用公共电网?银行刚刚诞生之初,老百姓觉得把钱放到自己身边最安全,现在不都放到银行了?道理很简单,安全性是一个理念,需要大家慢慢适应,但是走向云端是必然的道路。

  结合阿里云ODPS,从具体的安全措施来讲,ODPS是国内首家通过了CSA-STAR和ISO27001两项国际云安全认证的公司,在各个环节都采纳了国际上最先进的数据安全管理标准。在技术上,ODPS采用了多项技术保证用户存储在阿里云的数据不丢失、不泄露、不越权访问;从管理上,阿里云内部对于ODPS的运维和运营人员的操作有严格的监控和审计,确保内部人员不会接触到用户的数据。

  ODPS通过API提供服务,包括数据上传、下载、计算,所有API请求都是经过认证的,所有API请求都可以走https加密。从平台设计和技术实现角度说,ODPS充分考虑了数据安全性,ODPS团队对于平台的优先级定义是数据安全性大于可用性大于规模的。

  空口无凭,举例为证。阿里巴巴作为ODPS最大的用户,已经率先做了安全性实践。1)阿里的业务数据都将运行在ODPS上,外部用户与阿里集团享受相同的高安全等级。2)除了企业用户外,目前也在帮助政府客户合作上云。这些大企业和政府客户,比如一些银行、飞利浦、美的、中国气象局等,对数据安全的考虑非常严格,他们最后决定上云,也是对阿里云的数据安全性经过了全方位的评估。

  用ODPS应该做哪些准备工作呢?

  认清ODPS的产品价值以后,你是否已经鼓足勇气决定借力ODPS大干一场?别慌,你先做一些准备工作。

  一方面,使用ODPS也有一定的技术门槛。比如至少要懂得处理数据的基础技能,比如SQL语言。或者是一个程序员,懂得通过编写Java程序或者编写脚本。

  另外,还要具备数据敏感度以及对业务的理解。目前参加天池大赛的学生,他们通过对数据有更好的理解,进行设计更好的算法,取得更好的处理结果。

  ODPS如何收费?针对中小企业方面有没有优惠政策?

  成本是企业发展中最重要的因素,作为用户会问,使用ODPS的解决方案,我的成本会降低多少?阿里云的回答是,比传统方式成本至少节约一半。ODPS是按使用后付费的产品,用户的数据存储和计算一定有波峰波谷,企业不必为了应对峰值而采购额外的机器,而仅仅需要为了使用的资源而买单。更为关键的是服务的方式,极大地降低了技术门槛。企业不用为了Hadoop人才难觅而发愁。大企业财大气粗,不差钱,只要能确保解决问题一切都OK。但是中小企业没这么阔气,精打细算还是必须滴。

  针对中小企业ODPS有木有优惠政策?答案是肯定的。阿里巴巴就是通过不断的扶持中小企业,甚至是小微企业才得以建立了庞大的商业帝国,这些小企业是阿里的根基,当然不会置之不理。

  阿里云ODPS产品经理汤子楠说,希望通过ODPS让更多的中小企业感受和利用大数据的价值,除了产品本身外,后续还会推出一系列的服务,比如帮助用户设计数据模型,引导用户更合理更低成本的使用ODPS,比如对用户进行ODPS和大数据方面的培训,比如提供基于ODPS的可视化BI分析工具等等。这些服务在初期会以免费或低价的方式提供给用户,最大化的降低用户使用大数据的成本和门槛。有了阿里官方的说法,中小企业主大可放心了吧。

  目前ODPS有哪些成功案例值得借鉴?

  生于阿里,阿里云自然将阿里业务作为服务对象,甚至阿里巴巴的诸多业务都已经成为了ODPS的客户。

  ODPS之前一直在阿里内部试用。第一个"小白鼠"是阿里小贷。现在,超过36万人从阿里小贷借款,最小贷款额1块钱,并实现3分钟申请、1秒放款、0人工干预。要做到这一点,阿里小贷每天得处理30PB数据,包括店铺等级、收藏、评价等800亿个信息项,运算100多个数据模型,甚至得测评小企业主对假设情景的掩饰和撒谎程度。另外,阿里小贷每笔贷款成本3毛钱。

  华大基因,2003年国内抗SARS研究的主力军。去年,华大在ODPS上试了下基因测序,耗时不到传统方式的十分之一。

  公共领域的数据挖掘,如今,每盒药品上都有一张电子身份证,从生产、流通、储存、配送、销售到使用,全过程的数据都跑在ODPS上,一旦发现问题药品,监管部门可以立即采取措施。

  眼下,阿里巴巴各项数据业务都在用ODPS,比如淘宝在算你最中意哪个淘女郎,天猫在算你什么时候想吃车厘子,菜鸟在算卡车走哪条路可能会被雷劈,支付宝在算你何时会从屌丝变成高富帅。

  ODPS强大的生态圈计划 企业如何参与并获利?

  ODPS是一个强大的数据计算引擎,结果的输出需要各种计算模型的支撑,计算模型一方面ODPS平台会提供,但是也需要打造生态圈,借助生态圈的力量不断的完善ODPS。

  ODPS作为开放的商用平台,也欢迎更多的生态圈伙伴参与进来,这些伙伴包括四个方面:1、服务和应用供应商,提供商业智能和数据应用。2、数据的生产,可以是企业也可以是个人。3、数据的加工,他们可以是咨询公司、行业专家。4、数据消费,包括广告、客户满意度改进、模式创新、精准推荐等。

  ODPS产品经理汤子楠提到一点,参与到生态圈中,大家共同获益,既可以为生态圈提供资源,也可以从中获益。

  最后,借用阿里云事业部总裁王文彬的话:“阿里云ODPS是一个系统工程,工程不可能是完美的,ODPS还在不断的发展中,希望大家多一些耐心。”作为用户,可以说目前ODPS已经开创了在线处理大数据商用的先河,值得道贺,也值得期待。用户在使用过程中有更多的疑问欢迎提出(微信 搜索景保玉,关注公共账号 小新有话说,微博 @景保玉)这也是为ODPS的完善做出一份贡献。


作者:景保玉

来源:IT168

原文链接:不要犹豫 了解这些即可玩转阿里云ODPS

网友评论

登录后评论
0/500
评论
青衫无名
+ 关注
所属云栖号: IT168