1. 云栖社区>
  2. 全部标签>
  3. #kafka#
kafka

#kafka#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Apache Kafka常用命令

1.查看topic详细信息 ./kafka-topics.sh -zookeeper ip:port -describe -topic topicname kafka/bin/kafka-topics.

Json IP Consumer Create zookeeper kafka 命令

Apache Drill 常用Plugins配置

1.kafka { "type":"kafka", "kafkaConsumerProps":{ "bootstrap.servers":"hostname1:9092,hostname2:9092,hostname3:9092", "group.

云栖社区 mysql hbase hdfs Apache 配置 drill JDBC Driver Hive type kafka OpenTSDB kudu

Kafka 原理和实战

本文从Kafka的基本概念、特点、部署和配置、监控和管理等方面阐述 Kafka 的实践过程。

消息队列 日志 LOG 高可用 配置 集群 同步 Server 脚本 Consumer 分布式存储 kafka

Apache Carbondata接入Kafka实时流数据

1.导入carbondata依赖的jar包 将apache-carbondata-1.5.3-bin-spark2.3.2-hadoop2.7.2.jar导入$SPARKHOME/jars;或将apache-carbondata-1.

SQL Apache 配置 spark string stream Create timestamp source 数据存储 kafka 流数据 carbondata

Apache NiFi之Kafka流数据到HBase

一.说明 在大数据平台的业务场景中,处理实时kafka数据流数据,以成为必要的能力;此篇将尝试通过Apache NiFi来接入Kafka数据然后处理后存储之HBase 二.开拔 Ⅰ).配置ConsumeKafka_0_10 测试使用了kafka0.

大数据 hbase Apache 数据流 配置 表空间 zookeeper kafka 流数据 NiFi

大数据平台常用组件

BigData-Alpha-0.1.0 备注: 未增加zookeeper、Doris、CarbonData 部分归类模糊 仅供参考

redis hbase hadoop zabbix spark zookeeper kafka ELK phoenix flink ClickHouse

Apache Druid自定义扩展模块-数据解析器

一.简述 Apache Druid已有的扩展模块很多包括:HDFS存储使用的druid-hdfs-storage,Kafka数据接入使用的druid-kafka-indexing-service,将MySQL做为元数据库使用的mysql-metadata-storage,数据排重使用的druid-datasketches;但有时这些也无法满足我们实际应用场景下的特殊需求,那么必要的二次开发增加自定义的模块就成了必然。

Json Apache 模块 配置 class html input Druid kafka 自定义解析器

空学Kafka之一

> 搞了好多年的RPC框架有点疲了,最近在换到中间件的另一个方向MQ,准备做些kafka上阿里云的商业化工作,趁着热乎劲整理下kafka的知识,主要内容是阅读Kafka的作者之一Neha的书:The Definitive Guide的记录,加入一些其他参考。 >先说下Kafka名称来历, Kafka作者之一Jay是这么解释的:“我想既然 Kafka 是为了写数据而产生的,那么用作家的名字来命

性能 日志 阿里技术协会 配置 集群 同步 索引 Consumer 磁盘 存储 kafka

Apache Druid接入Kafka实时流数据

一.任务配置文件 使用类型为kafka { "type": "kafka", "dataSchema": { "dimensionsSpec": {... ...}, "transformSpec":{.

Json Apache 配置 表达式 type Druid kafka 流数据

空学Kafka之二

> 继续上一篇 (空学Kafka之一)[https://www.atatech.org/articles/145913] ## 构建数据通道 ### 考量点 及时性,可靠性,吞吐量,安全性(通道安全,审计等),数据格式的上线兼容,ETL or ELT,统一还是专属(比如GoldenGate是oracle私有的,有很强的耦合性),优先选择Kafka Connect ###

架构 阿里技术协会 镜像 集群 Image 数据中心 kafka

继续南山聊代码!Apache Kafka × Apache Flink Meetup · 深圳站

8 月 31 日,Apache Flink Meetup 深圳站来啦,继续南山聊代码!本次 Meetup 由 Apache Flink(以下简称 Flink)与 Apache Kafka 联合举办,邀请到来自 Confluent 、中国农业银行 、虎牙直播、数见科技以及阿里巴巴等五位技术专家为大家呈现 Kafka 与 Flink 的技术盛宴。

大数据 架构 引擎技术 SQL Apache 消息中间件 Image 流计算 kafka 大数据分析 推荐系统 实时计算 ApacheFlink

基于可视化配置的日志结构化转换实现

基于可视化配置的日志结构化转换实现。

监控 数据可视化 日志 LOG 模块 配置 集群 Image logstash 正则表达式 schema 数组 kafka 日志结构转换

使用EMR-Kafka Connect进行数据迁移

流式处理中经常会遇到Kafka与其他系统进行数据同步或者Kafka集群间数据迁移的情景。使用EMR Kafka Connect可以方便快速的实现数据同步或者数据迁移。本文介绍使用EMR Kafka Connect的REST API接口在Kafka集群间进行数据迁移。

分布式系统与计算 Apache 数据库 配置 集群 Image 数据迁移 同步 e-mapreduce EMR 数据同步 zookeeper kafka 流式处理

消息中间件面试题31道RabbitMQ+ActiveMQ+Kafka

整理了31到消息中间件面试题RabbitMQ+ActiveMQ+Kafka

消息系统 java 服务器 cluster 集群 消息中间件 node rabbitmq exchange Consumer 面试题 ActiveMQ kafka

持控科技一张PPT剖析 Kafka 分布式发布订阅消息系统

持控科技一张PPT剖析 Kafka 分布式发布订阅消息系统

系统研发与运维 互联网产品及应用 分布式 消息系统 kafka

kafka

kafka架构 Kafka是分布式、分区的、多副本的、多订阅者,高吞吐率,支持水平扩展,基于zookeeper协调的分布式消息系统。常见用于web/nginx日志、访问日志,消息服务等。主要应用场景是:日志收集系统和消息系统。

Consumer zookeeper kafka TOPIC kafka-manager

8
GO