1. 云栖社区>
  2. 全部标签>
  3. #kafka#
kafka

#kafka#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

spark消费kafka 从kafka拉取数据部分Task特变慢

项目中使用了sparkStreaming去消费kafka中的数据。 发现了个问题,kafka一共30个分区,会起30个Task去拉取数据。在某些消费批次中会有个别Task从Kafka分区中拉取数据特别慢比别的Task慢了近10倍。直接拖慢…

大数据 spark kafka

用filebeat向阿里云的kafka写入数据始终不能连接成功

公司买了阿里云的kafka,代码的方式可以正常连。但是用filebeat向阿里云的kafka写入数据始终不能连接成功。主要是在jks 和sasl的配置上,官方文档没有找到一样的配置方式。不知道阿里自己的人是否遇到过。其实filebeat还…

云栖社区 faq 配置 demo kafka filebeat

kafka导入数据到hdfs,怎么比较方便

转自钉钉群21789141:kafka 导入数据到hdfs,怎么比较方便

大数据 hdfs 钉钉 流计算 kafka flink 实时计算

咨询一下,大家使用的flink时对应 使用kafka的哪个版本?

转自钉钉群21789141:咨询一下,大家使用的flink时对应 使用kafka的哪个版本?

钉钉 流计算 kafka flink 实时计算

kafka数据导入greenplum爆出Connetion refused的错误

按照官网教程,配置loadcfg2.yaml,已经配置了localhost_name和端口,但是gpfdist服务器报错与配置不同

PostgreSQL Greenplum 服务器 配置 kafka

[@talishboy][¥20]如何使用Kafka搭建消息队列系统?

如何使用Kafka搭建消息队列系统?

消息队列 kafka

[@项籍][¥20]kafka和RocketMQ在阿里巴巴内部应用在哪些系统中?

kafka和RocketMQ在阿里巴巴内部应用在哪些系统中?

kafka RocketMQ

[@项籍][¥20]rocketmq和Kafka的区别是什么?

rocketmq和Kafka的区别是什么?

kafka RocketMQ

阿里云的kakfa支持api创建topics吗

我在公网的阿里云测试环境只能在控制台新建topic和consumeGroup,请问是不是这样?那么在商业版kafka能不能支持api创建topics和consumeGroups呢?

阿里云 中间件 测试 控制台 API kafka

[@项籍][¥20]kafka应用场景有哪些

kafka 应用场景有哪些,哪个版本比较稳定?

kafka

[@项籍][¥20]关于kafka的原理

求大佬解析下kafka的工作原理

kafka

无法访问阿里云部署的kafka

使用1.0.1版本kafka,设置listeners为阿里云私有ip,advertised.listeners设置为公网ip.为何访问不了?报[2018-06-10 21:43:55,501] WARN [Producer clientI…

系统研发与运维 互联网产品及应用 消息系统 开发框架与中间件 IP test metadata kafka

Kafka0.8改版之后consumer的监控信息拉取问题

Kafka0.8之后,consumer信息从zk迁移走之后,如何拿到consumer的信息,主要是想拿到每个partition中offset的值

分布式系统与计算 监控 实时系统 消息队列 Consumer kafka

TopicPartitionWriter记录committed offset的策略

TopicPartitionWriter记录committed offset的策略有更好的没

kafka

阿里云的kafka,是否支持本地事物

我切换为测试环境自己搭建的kafka本地事物完全木有问题。 切换到阿里云的kafka以后, 就会在创建Producer的时候,报Cannot create a v0 coordinator 2017-11-06 19:25:06.962 …

云栖社区 java require request Transaction Create kafka

EMR可以直接消费ECS上的kafka消息嘛

如题,EMR可以消费ECS上的kafka消费,或者说kafka可以直接sink消息到EMR嘛

ECS e-mapreduce EMR kafka

kafka指定消费,查不出数据

Properties props = new Properties(); props.put("bootstrap.servers", bootstrapServers); props.put("group…

Apache string Consumer PUT session Group Commit bootstrap kafka

1
GO