1. 聚能聊>
  2. 话题详情

如何在Hadoop中,使用阿里云OSS作为存储系统,玩转大数据应用

2017年12月13日,Apache Hadoop正式发布了3.0.0版本,默认支持阿里云OSS对象存储系统,作为Hadoop兼容的文件系统。

500299387_banner_

OSS是中国云计算厂商第一个也是目前唯一一个被Hadoop官方版本支持的云存储系统。这是继Docker支持阿里云存储以后,又一个更重大的里程碑。这也是主流开源社区对中国的技术生态,对中国云计算行业发展成果的认可。

这意味着全球用户Hadoop生态的离线、交互、数据仓库、深度学习等程序,在不需要改代码的情况下,可自由读写OSS的对象存储。用户只需要简单的配置,就可以在Hadoop应用中使用OSS。

在Hadoop中使用OSS,也符合存储计算分离的发展趋势,能使计算业务启停、数据规模和计算节点的伸缩更灵活。用户也不用为了保存数据,而运维HDFS集群。

OSS依托高性能的阿里云数据中心网络,并与丰富的开源计算系统(如Hadoop、Alluxio等)、阿里云自研的计算系统(如EMR、MaxCompute、BatchComputer、PAI等)集成,为客户提供了方便,简单,和经济划算的数据分析和加工能力。

OSS已不仅是“存储”,而且正在成为共享的数据湖,一份数据被多种计算系统共享,达到存储与计算解耦的效果,使得资源的利用率最大化;我们会持续推进OSS与hadoop等开源计算系统、以及阿里云计算产品(如PAI)的融合和优化,帮助用户把更方便地搭建计算应用,进行数据分析和加工。


大家一起来聊一聊,利用Hadoop原生支持OSS,以及OSS的海量以及自动扩容伸缩优势:
1.可以如何更灵活、更方便地在云上,搭建Hadoop应用?
2.可以为当前的数据分析加工业务,带来哪些价值?
3.还可以完成哪些有价值、有意思的事情?

参与话题

奖品区域 活动规则 已 结束

12个回答

1

喻飞翔 复制链接去分享

好,很好

0

首席提问官 复制链接去分享

通过交互静态模组,实现实时分析,高效,快速,疯狂的统计流量信息,来达到动态效果。

0

1961214135340671 复制链接去分享

实时控制

0

1277914370539357 复制链接去分享

首先内存要够大

0

昌鼎不锈钢 复制链接去分享

Hadoop功能包括从数据采集、存储、分析、转运、再到页面展示,完整涵盖了整个流程。例如HDFS实现了数据的分布式存储,HBase负责实现数据库的功能,Flume执行对数据的收集,Sqoop能够对数据进行转移、治理, MapReduce可以通过算法实现分布式计算,Hive则做数据仓库,Pig做数据流处理,Zookeeper实现了各节点间的反馈收集与负载平衡服务,Ambari能够让管理员了解架构整体的工作运行情况。

0

浮生递归 复制链接去分享

代金券啊代金券

1.可以如何更灵活、更方便地在云上,搭建Hadoop应用?
现在的阿里云平台已经将很多东西都优化的非常方便和灵活了。主要就是买买买各种云产品,然后再简单配置下。就算不会配置,也有很全面的帮助渠道协助完成。正常情况下,看看帮助文档就够了。

2.可以为当前的数据分析加工业务,带来哪些价值?
主要在效率提升方面。更灵活更方便的管理,最直接的经济效益就是人力投入的下降。同时,让相关环节的员工拥有更好的用户体验。

3.还可以完成哪些有价值、有意思的事情?
hadoop和oss的结合,为非结构化数据转为结构化数据降低了门槛和研究成本,推动了非结构化数据结构化的发展。

0

jonesbilly 复制链接去分享

1.可以如何更灵活、更方便地在云上,搭建Hadoop应用?
首先购买阿里云服务器,然后将服务器集群,修改集群服务器系统为Hadoop,然后购买OSS存储服务。OSS存储服务是和Hadoop分离的,低耦合性使得Hadoop系统仅作为云计算中心,Hadoop系统便可以灵活扩展达到负载均衡,OSS也支持自动扩容伸缩,所以在Hadoop系统上就可以开发大数据应用并没有计算和容量局限性了。
2.可以为当前的数据分析加工业务,带来哪些价值?
OSS支持多对象存储,在分布式存储系统中加强了资源检索能力,同时支持图片处理、音视频转码、CDN内容加速分发的数据处理能力,在数据分析加工中即时处理数据能力加强了,在云安防、直播中具有强大的低延时优势。
3.还可以完成哪些有价值、有意思的事情?
即时模型转换,可在城市大脑天眼系统中应用。在身份体征系统中即时完成犯罪分子特征比对。

0

内幕帝 复制链接去分享

不错!

0

宇宙宙长 复制链接去分享

完全看不懂

0

1483612440305339 复制链接去分享

0

aoteman675 复制链接去分享

1.可以如何更灵活、更方便地在云上,搭建Hadoop应用?
首先购买阿里云服务器,然后将服务器集群,修改集群服务器系统为Hadoop,然后购买OSS存储服务。OSS存储服务是和Hadoop分离的,低耦合性使得Hadoop系统仅作为云计算中心,Hadoop系统便可以灵活扩展达到负载均衡,OSS也支持自动扩容伸缩,所以在Hadoop系统上就可以开发大数据应用并没有计算和容量局限性了。
2.可以为当前的数据分析加工业务,带来哪些价值?
OSS支持多对象存储,在分布式存储系统中加强了资源检索能力,同时支持图片处理、音视频转码、CDN内容加速分发的数据处理能力,在数据分析加工中即时处理数据能力加强了,在云安防、直播中具有强大的低延时优势。
3.还可以完成哪些有价值、有意思的事情?
即时模型转换,可在城市大脑天眼系统中应用。在身份体征系统中即时完成犯罪分子特征比对。

0

骐源 复制链接去分享

哎,哎, 不知所云啊!尴尬。

13889
浏览
0
收藏
邀请他人互动
关注
0
粉丝
8
话题
1

感兴趣or擅长的领域:

简介:

来自阿里云存储产品团队,在视频监控解决方案、智能硬件与机器人、物联网平台等产品方案与技术架构有多年经验。
提供海量、安全和高可靠的云存储服务。RESTful API的平台无关性,容量和处理能力的弹性扩展,按实际容量付费...

阿里云机器学习是基于阿里云分布式计算引擎的一款机器学习算法平台。用户通过拖拉拽的方式可视化的操作组件来进行试验,...

基于云安全大数据能力实现,通过防御SQL注入、XSS跨站脚本、常见Web服务器插件漏洞、木马上传、非授权核心资源...

为您提供简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效率,降低 IT 成本...