CDH6
目前CDH的最新版本是6.0.1,支持Hadoop 3.0.0,本文将介绍如何使CDH6的相关组件(Hadoop/Hive/Spark/Impala等)能够读写OSS。CDH5对OSS的支持在这篇文章介绍。
CDH6支持读写OSS
搭建CDH集群
首先根据官方文档搭建好CDH6集群

增加OSS配置
通过CM来增加配置(对于没有CM管理的集群,可以通过修改core-site.xml来达到)
这里以CM为例,需要增加如下配置:

配置项 | 值 | 说明 |
---|
fs.oss.endpoint | 如 oss-cn-zhangjiakou-internal.aliyuncs.com | 要连接的endpoint |
fs.oss.accessKeyId | access key id |
fs.oss.accessKeySecret | access key secret |
fs.oss.impl | org |
网友评论