使用Apache Impala(CDH6)查询OSS的数据

  1. 云栖社区>
  2. 阿里云存储服务>
  3. 博客>
  4. 正文

使用Apache Impala(CDH6)查询OSS的数据

冷月_wjh 2018-10-30 13:39:36 浏览3144
展开阅读全文

CDH6

目前CDH的最新版本是6.0.1,支持Hadoop 3.0.0,本文将介绍如何使CDH6的相关组件(Hadoop/Hive/Spark/Impala等)能够读写OSS。CDH5对OSS的支持在这篇文章介绍。

CDH6支持读写OSS

搭建CDH集群

首先根据官方文档搭建好CDH6集群

_2018_10_29_10_03_43

增加OSS配置

通过CM来增加配置(对于没有CM管理的集群,可以通过修改core-site.xml来达到)
这里以CM为例,需要增加如下配置:
_2018_10_28_2_41_06

配置项说明
fs.oss.endpoint如 oss-cn-zhangjiakou-internal.aliyuncs.com要连接的endpoint
fs.oss.accessKeyIdaccess key id
fs.oss.accessKeySecretaccess key secret
fs.oss.implorg

网友评论

登录后评论
0/500
评论
冷月_wjh
+ 关注
所属团队号: 阿里云存储服务