CDH6
目前CDH的最新版本是6.0.1，支持Hadoop 3.0.0，本文将介绍如何使CDH6的相关组件(Hadoop/Hive/Spark/Impala等)能够读写OSS。CDH5对OSS的支持在这篇文章介绍。
CDH6支持读写OSS
搭建CDH集群
首先根据官方文档搭建好CDH6集群
增加OSS配置
通过CM来增加配置(对于没有CM管理的集群，可以通过修改core-site.xml来达到)
这里以CM为例，需要增加如下配置:
| 配置项 | 值 | 说明 |
|---|
| fs.oss.endpoint | 如 oss-cn-zhangjiakou-internal.aliyuncs.com | 要连接的endpoint |
| fs.oss.accessKeyId | access key id |
| fs.oss.accessKeySecret | access key secret |
| fs.oss.impl | org |
网友评论