1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. K>
  5. kafka消费

当前主题:kafka消费

【教程】Linux下如何下载与安装Kafka ?

一、预备环境 Kafka是java生态圈中的一员,运行在java虚拟机上,按Kafka官方说明,java环境推荐Java8;Kafka需要Zookeeper保存集群的元数据信息和消费者信息。Kafka一般会自带Zookeeper,但是从稳定性考虑,应该使用单

阅读全文

Kafka 原理和实战

本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/bV8AhqAjQp4a_iXRfobkCQ作者简介:郑志彬,毕业于华南理工大学计算机科学与技术(双语班)。先后从事过电子商务、开放平台、移动浏览器、推荐广告和

阅读全文

面试百度、阿里、腾讯,这134道Java面试题你会多少?

这里一共是134道Java面试题,看看你能对几道吧! Java 语言有哪些特点 面向对象和面向过程的区别 关于 JVM JDK 和 JRE 最详细通俗的解答 Oracle JDK 和 OpenJDK 的对比 Java 和 和 C++ 的区别 6.什么是 Ja

阅读全文

使用Flink实现索引数据到Elasticsearch

5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 使用Flink处理数据时,可以基于Flink提供的批式处理(Batch Pro

阅读全文

Kafka常用命令

1.查看topic详细信息 ./kafka-topics.sh -zookeeper ip:port -describe -topic topicname kafka/bin/kafka-topics.sh -zookeeper hostname:2181

阅读全文

一道真实的面试题 | 如何保证消息队列的高可用

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 面试题:如何保证消息队列的高可用? 面试官心理分析 如果你的简历里写了MQ,如果有

阅读全文

空学Kafka之一

搞了好多年的RPC框架有点疲了,最近在换到中间件的另一个方向MQ,准备做些kafka上阿里云的商业化工作,趁着热乎劲整理下kafka的知识,主要内容是阅读Kafka的作者之一Neha的书:The Definitive Guide的记录,加入一些其他参考。 先

阅读全文

[Spring cloud 一步步实现广告系统] 16. 增量投送到kafka

实现增量数据索引 上一节中,我们为实现增量索引的加载做了充足的准备,使用到mysql-binlog-connector-java 开源组件来实现MySQL 的binlog监听,关于binlog的相关知识,大家可以自行网络查阅。或者可以mailto:magic

阅读全文

kafka消费相关问答

查看更多 提问题

spark消费kafka 从kafka拉取数据部分Task特变慢

项目中使用了sparkStreaming去消费kafka中的数据。 发现了个问题,kafka一共30个分区,会起30个Task去拉取数据。在某些消费批次中会有个别Task从Kafka分区中拉取数据特别慢比别的Task慢了近10倍。直接拖慢了整个处理时

阅读全文

flume1.8整合 kafka2.10时,kafka消费者不能实时的接受flume发过来的数据?

![123](https://yqfile.alicdn.com/31133a388c45d1f37dbd30bac254cb2adfca8da1.png) 以上是flume的配置文件 我执行了以下操作: 1. flume提交命令: flume-

阅读全文

flink 从kafka消费,savepoint后,重启拓扑,kafka topic对应的offset值不是存到zookeeper了?

flink 从kafka消费,savepoint后,重启拓扑,kafka topic对应的offset值不是存到zookeeper了?

阅读全文

flink消费kafka报错 Couldn't retrieve the JobExecutionResult from the JobManager

Starting execution of program Submitting job with JobID: aca099531abda417700799ace53e0fbd. Waiting for job completion. -------

阅读全文

Flink使用过程中的几个疑难点,求各路大神解答

flink实时处理的多个事件,来自kafka的3个topic。因此代码中实现了3个流解析不同的事件,最终写入redis的hset,想问下:1、以上的任务启动过程中存在事件解析丢失的情况,即kafka中相应的事件上报了,但是最终解析的时候没有解析到。 2、一个

阅读全文

[@小川游鱼][¥20]kafka的消费者stream iterator block,读不出消息?

rt,能够向kafka produce数据,kafka里也看得到,但是consumer却读不出数据,offset是0,程序在stream的iterator被阻塞了。demo代码如下: import java.util.HashMap; import j

阅读全文

flink消费kafka的数据,addSource的时候类型不匹配

![_](https://yqfile.alicdn.com/41325b113c6172b3be43eedbb0a99ae5b60070f0.png) 不知道DataStreamSource到DataStream要怎么处理

阅读全文

Pyspark - 打印来自Kafka的消息

我建立了一个带有生产者和消费者的kafka系统,作为消息流式传输json文件的行。 使用pyspark,我需要分析不同流媒体窗口的数据。为此,我需要查看pyspark流式传输的数据......我该怎么做? 要运行代码,我使用了Yannael的Doc

阅读全文