HDP2.6 Hadoop如何支持读写OSS

  1. 云栖社区>
  2. 阿里云存储服务>
  3. 博客>
  4. 正文

HDP2.6 Hadoop如何支持读写OSS

冷月_wjh 2018-10-29 09:33:11 浏览2017
展开阅读全文

HDP和Ambari

HDP(Hortonworks Data Platform)是由Hortonworks发行的大数据平台,里面包含了Hadoop、Hive、HBase等很多开源组件,目前有不少用户直接使用HDP版本的Hadoop。Ambari是一个分布式工具,可以安装、管理,监控HDP平台。HDP与Ambari的关系,可以类比CDH与CM的关系。
目前,HDP的最新版本是3.0.1,里面的Hadoop版本是3.1.1,天然支持了OSS。本文主要介绍如何使低版本的HDP(以HDP2.6.1.0为例)支持读写OSS。

HDP2.6.1.0支持读写OSS

HDP2.6.1.0中,Hadoop的版本是2.7.3,还不支持OSS(目前Apache Hadoop支持OSS的最低版本是2.9.1)。

搭建HDP集群

通过官方文档,利用Ambari搭建H

网友评论

登录后评论
0/500
评论
冷月_wjh
+ 关注
所属云栖号: 阿里云存储服务