冷月_wjh + 关注

冷月_wjh 发表了文章:

如何将Elasticsearch的快照备份至OSS

发布时间:2019-07-15 14:44:31 浏览:969 回帖 :0

前言 Elasticsearch 是一个开源的分布式 RESTful 搜索和分析引擎。它可以在近实时条件下,存储,查询和分析海量的数据。它还支持将快照备份至HDFS/S3上面,而阿里云OSS兼容S3...

云栖社区 数据存储与数据库 分布式系统与计算 OSS Guide 索引 open Elasticsearch test curl Bash

冷月_wjh 发表了文章:

使用Fluentd读写OSS

发布时间:2019-04-23 15:44:11 浏览:5172 回帖 :0

前言 Fluentd是一个实时开源的数据收集器,基于CRuby实现,td-agent是其商业化版本,由Treasure Data公司维护。本文将介绍如何使Fluentd能够读写OSS。 安装 首先下...

云栖社区 分布式 大数据 实时系统 MNS OSS Apache events path 配置 aliyun plugin type github

冷月_wjh 发表了文章:

Apache Hadoop 2.7如何支持读写OSS

发布时间:2019-03-01 10:44:23 浏览:1139 回帖 :1

背景 2017.12.13日Apache Hadoop 3.0.0正式版本发布,默认支持阿里云OSS对象存储系统,作为Hadoop兼容的文件系统,后续版本号大于等于Hadoop 2.9.x系列也支持...

大数据 分布式系统与计算 OSS hdfs hadoop Apache 配置 reduce file read Mapreduce

冷月_wjh 发表了文章:

使用Logstash将日志导入OSS

发布时间:2019-01-04 10:32:18 浏览:1831 回帖 :0

前言 logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的 “存储库” 中。 目前logstash已经支持了很多输入和输出插件,本文主要...

云栖社区 数据存储与数据库 大数据 分布式系统与计算 OSS 日志 数据处理 配置 logstash 控制台 aliyun 插件 charset index prefix

冷月_wjh 发表了文章:

Spark读写OSS并使用OSS Select来加速查询

发布时间:2018-11-01 11:20:56 浏览:2295 回帖 :0

Spark读写OSS 基于这篇文章搭建的CDH6以及配置,我们来使Spark能够读写OSS(其他版本的Spark都是类似的做法,不再赘述)。 由于默认Spark并没有将OSS的支持包放到它的CLA...

云栖社区 分布式 大数据 分布式系统与计算 OSS SQL Apache spark scala aliyun string schema Access csv input

冷月_wjh 发表了文章:

使用Apache Impala(CDH6)查询OSS的数据

发布时间:2018-10-30 13:39:36 浏览:2609 回帖 :0

CDH6 目前CDH的最新版本是6.0.1,支持Hadoop 3.0.0,本文将介绍如何使CDH6的相关组件(Hadoop/Hive/Spark/Impala等)能够读写OSS。CDH5对OSS的支...

云栖社区 分布式 大数据 分布式系统与计算 OSS hadoop SQL Apache 配置 集群 aliyun string replication

冷月_wjh 发表了文章:

CDH5 Hadoop如何支持读写OSS

发布时间:2018-10-29 09:35:05 浏览:2133 回帖 :0

CDH和CM(Cloudera Manager) CDH (Cloudera’s Distribution, including Apache Hadoop)是众多Hadoop发行版本中的一种,由C...

云栖社区 大数据 分布式系统与计算 OSS hadoop 配置 集群 string

冷月_wjh 发表了文章:

HDP2.6 Hadoop如何支持读写OSS

发布时间:2018-10-29 09:33:11 浏览:1871 回帖 :2

HDP和Ambari HDP(Hortonworks Data Platform)是由Hortonworks发行的大数据平台,里面包含了Hadoop、Hive、HBase等很多开源组件,目前有不少用...

云栖社区 分布式 大数据 分布式系统与计算 OSS hdfs hadoop 配置 reduce 集群 aliyun Ambari Mapreduce

冷月_wjh 发表了文章:

在控制台使用OSS Select

发布时间:2018-09-18 11:49:37 浏览:1787 回帖 :0

对象存储OSS(Object Storage Service)具有海量、可靠、安全、高性能、低成本的特点。OSS提供标准、低频、归档类型,覆盖多种数据从热到冷的存储需求,单个文件的大小从1字节到48....

云栖社区 分布式系统与计算 OSS SQL 控制台 aliyun 对象存储 存储 数据应用

冷月_wjh 发表了文章:

OSS访问控制介绍

发布时间:2018-09-06 11:18:36 浏览:18617 回帖 :0

云栖社区 OSS RAM 身份认证 权限管理

冷月_wjh 发表了文章:

冷月_wjh 评论了文章:

Hadoop默认支持集成OSS,作为Hadoop兼容的文件系统

发布时间:2017-12-18 17:29:34 浏览:8493 回帖 :6

Apache Hadoop默认支持阿里云OSS对象存储系统,作为Hadoop兼容的文件系统。OSS是中国云计算厂商第一个也是目前唯一一个被Hadoop官方版本支持的云存储系统。这意味着全球用户Hado...

大数据 OSS hadoop 集群 对象存储 存储 计算存储分离

“即将发布的2.9.1也会支持OSS,低于2.9.1的hadoop将不再支持OSS,需要用户自己集成相关的patchhttps://issues.apache.org/jira/browse/HADOO...查看全部>
暂未提供

感兴趣or擅长的领域:

暂无
更多>
tonyxx
tonyxx
文章:3丨 粉丝:1802丨 话题:0
更多>
游客e2dopzdmphucw
游客e2dopzdmphucw
文章:0丨 粉丝:0丨 话题:0
游客s6iiqkp6miyik
游客s6iiqkp6miyik
文章:0丨 粉丝:0丨 话题:0
游客mrbvuoegepiww
游客mrbvuoegepiww
文章:0丨 粉丝:0丨 话题:0
游客5sjo24zhexyqw
游客5sjo24zhexyqw
文章:0丨 粉丝:0丨 话题:0
游客3yxsnap777s22
游客3yxsnap777s22
文章:0丨 粉丝:0丨 话题:0
游客7j7bhro5fwg3c
游客7j7bhro5fwg3c
文章:0丨 粉丝:0丨 话题:0