ligh-rain + 关注

ligh-rain 发表了文章:

Kerberos使用OpenLDAP作为backend

发布时间:2019-09-04 20:19:34 浏览:250 回帖 :0

本文介绍Kerberos对接OpenLDAP, 使用OpenLDAP作为principal数据库

安全 shell BY schema read Security stash principal openldap ldap kerberos

ligh-rain 发表了文章:

使用EMR-Kafka Connect进行数据迁移

发布时间:2019-07-22 11:07:35 浏览:5144 回帖 :0

流式处理中经常会遇到Kafka与其他系统进行数据同步或者Kafka集群间数据迁移的情景。使用EMR Kafka Connect可以方便快速的实现数据同步或者数据迁移。本文介绍使用EMR Kafka C...

分布式系统与计算 Apache 数据库 配置 集群 Image 数据迁移 同步 e-mapreduce EMR 数据同步 zookeeper kafka 流式处理

ligh-rain 发表了文章:

使用Spark Streaming SQL基于时间窗口进行数据统计

发布时间:2019-07-05 12:25:17 浏览:4872 回帖 :0

流式计算一个很常见的场景是基于事件时间进行处理,常用于检测、监控、根据时间进行统计等系统中。使用Spark Streaming SQL可以很方便的对事件数据中的时间字段进行处理,本文通过讲解一个统计用...

SQL 日志 Image spark Create Group Streaming 流式处理

ligh-rain 发表了文章:

使用EMR-Flume将非EMR集群的数据同步至EMR集群的HDFS

发布时间:2019-04-30 19:36:15 浏览:437 回帖 :1

E-MapReduce从3.20.0版本开始对EMR-Flume新增了Log Service Source。借助Log Service的Logtail等工具,可以将需要同步的数据实时采集并上传到Log...

大数据 分布式系统与计算 实时系统 hdfs LOG 配置 集群 agent 同步 EMR 数据同步 flume loghub LogService

ligh-rain 发表了文章:

使用EMR-Flume同步Kafka数据到HDFS

发布时间:2019-04-10 20:27:28 浏览:739 回帖 :0

Flume是一个分布式、可靠和高效的数据汇聚系统,其source、channel和sink的结构设计,不仅实现了数据生产者与消费者的解耦,还提供了数据缓冲的功能。一个比较通用的使用场景是使用Flume...

分布式 大数据 hdfs 性能 配置 集群 agent 负载均衡 同步 aliyun e-mapreduce flume kafka 流式系统

ligh-rain 发表了文章:

使用EMR-Flume同步HDFS audit日志到HDFS

发布时间:2019-04-10 20:23:52 浏览:530 回帖 :0

E-MapReduce从3.19.0版本开始对EMR-Flume提供集群管理的功能。通过集群管理功能,可以在Web页面方便的配置和管理Flume Agent。 本文将使用EMR-Flume实时同步H...

分布式 大数据 hdfs 日志 高可用 配置 集群 agent Image 同步 e-mapreduce flume 流式系统 audit

ligh-rain 评论了文章:

如何在E-MapReduce上提交Storm作业处理Kafka数据

发布时间:2018-02-09 17:17:26 浏览:2132 回帖 :1

本文演示如何在E-MapReduce上部署Storm集群和Kafka集群,并运行Storm作业消费Kafka数据。

大数据 分布式系统与计算 storm hadoop Apache 配置 安全组 集群 测试 Maven Image aliyun e-mapreduce kafka 开源计算

“emr 3.10.0和2.10.0之后的版本,storm版本>=1.1.2,需要将curator相关的依赖包(curator-client、curator-framework和curator-r...查看全部>
暂未提供

感兴趣or擅长的领域:

更多>
apache_flink
apache_flink
文章:13丨 粉丝:19626丨 话题:0
Ververica
Ververica
文章:43丨 粉丝:2055丨 话题:0
小扑
小扑
文章:11丨 粉丝:904丨 话题:0
健身不健身
健身不健身
文章:2丨 粉丝:737丨 话题:0
诚历
诚历
文章:2丨 粉丝:738丨 话题:0
江宇-燕回
江宇-燕回
文章:1丨 粉丝:738丨 话题:0
更多>
他们是青年
他们是青年
文章:0丨 粉丝:0丨 话题:0
225595941509976115
225595941509976115
文章:0丨 粉丝:0丨 话题:0
游客wrdyvil5amxuq
游客wrdyvil5amxuq
文章:0丨 粉丝:0丨 话题:0
1272456844167297
1272456844167297
文章:0丨 粉丝:0丨 话题:0
学习让人充实
学习让人充实
文章:4丨 粉丝:6丨 话题:0