1. 云栖社区>
  2. 全部标签>
  3. #流式系统#
流式系统

#流式系统#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

使用EMR-Flume同步HDFS audit日志到HDFS

E-MapReduce从3.19.0版本开始对EMR-Flume提供集群管理的功能。通过集群管理功能,可以在Web页面方便的配置和管理Flume Agent。 本文将使用EMR-Flume实时同步HDFS audit日志至HDFS,便于对HDFS操作记录进行离线统计和实时分析。

分布式 大数据 hdfs 日志 高可用 配置 集群 agent Image 同步 e-mapreduce flume 流式系统 audit

使用EMR-Flume同步Kafka数据到HDFS

Flume是一个分布式、可靠和高效的数据汇聚系统,其source、channel和sink的结构设计,不仅实现了数据生产者与消费者的解耦,还提供了数据缓冲的功能。一个比较通用的使用场景是使用Flume将Kafka的数据按照时间分区同步至HDFS,进行实时的流式分析或离线统计。

分布式 大数据 hdfs 性能 配置 集群 agent 负载均衡 同步 aliyun e-mapreduce flume kafka 流式系统

如何使用Kafka Connect实现同步RDS binlog数据

本文介绍如何在E-MapReduce上使用Kafka Connect实现同步RDS binlog数据

架构 分布式系统与计算 RDS 数据库 开源 配置 集群 Image 同步 e-mapreduce Server binlog 流计算 kafka 流式系统

1
GO