1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. K>
  5. kafka 1.0

当前主题:kafka 1.0

深入剖析wwwtl111888comKafka核心知识重I8669I44445平衡的通知机制

组成员数量 发生变化 – 最常见 订阅主题数量 发生变化 订阅主题的分区数 发生变化 通知 重平衡过程是通过 消费者的心跳线程 通知到其它消费者实例的 Kafka Java消费者需要 定期 地发送心跳请求到Broker端的协调者,表明它还活着 在Kafka

阅读全文

Knative 实战:基于阿里云 Kafka 实现消息推送

在 Knative 中已经提供了对 Kafka 事件源的支持,那么如何在阿里云上基于 Kafka 实现消息推送,本文给大家解锁这一新的姿势。 背景 消息队列 for Apache Kafka 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列 fo

阅读全文

Spring Cloud Alibaba 从孵化到 "挂牌" 之旅

背景 2014 年,Spring Boot 1.0 发布。Spring Boot 的发布绝对是 Pivotal 历史上具有里程碑意义的事件,它让我们能够非常简便地开发 Spring 应用,屏蔽了各种配置文件和底层实现,提供 AutoConfiguration

阅读全文

Flink Kafka Connector 与 Exactly Once 剖析

作者:史天舒 Flink Kafka Connector 是 Flink 内置的 Kafka 连接器,它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka Topic 写出数据的 Flink Kafka

阅读全文

从 Storm 到 Flink,汽车之家基于 Flink 的实时 SQL 平台设计思路与实践

作者:王刚、刘首维 在 2019 年之前,之家的大部分实时业务都是运行在 Storm 之上的。Storm 作为早期主流的实时计算引擎,凭借简单的 Spout 和 Bolt 编程模型以及集群本身的稳定性,俘获了大批用户。下图是实时计算团队 Storm 平台页面

阅读全文

Java工程师学习指南(完结篇)

Java工程师学习指南 完结篇 先声明一点,文章里面不会详细到每一步怎么操作,只会提供大致的思路和方向,给大家以启发,如果真的要一步一步指导操作的话,那至少需要一本书的厚度啦。 因为笔者还只是一名在校生,所以写的内容主要还是针对Java初学者或者接触Java

阅读全文

基于commons-pool2实现KafkaProducer池来提升kafka发送消息性能

业务场景 Spark用fileStream实时从NFS获取一批文件,将文件中JSON结构里面的大小图二进制数据上传云存储获取url然后再将url以string回写到json中发送kafka,最早使用多线程并行发送内个线程创建一个KafkaProducer速度

阅读全文

Flink 实时写入数据到 ElasticSearch 性能调优

作者:张刘毅 背景说明 线上业务反应使用 Flink 消费上游 kafka topic 里的轨迹数据出现 backpressure,数据积压严重。单次 bulk 的写入量为:3000/50mb/30s,并行度为 48。针对该问题,为了避免影响线上业务申请了一

阅读全文

kafka 1.0相关问答

查看更多 提问题

flume1.8整合 kafka2.10时,kafka消费者不能实时的接受flume发过来的数据?

![123](https://yqfile.alicdn.com/31133a388c45d1f37dbd30bac254cb2adfca8da1.png) 以上是flume的配置文件 我执行了以下操作: 1. flume提交命令: flume-

阅读全文

kafka.common.KafkaException:错误的请求类型18

我正在运行这段代码。streamingInputDF是Kafka主题的readStream。我正在运行spark 2.4.0和Kafka 0.10.2 val activityQuery = streamingInputDF.writeStream .

阅读全文

spark streaming 和 kafka ,打成jar包后((相关第三方依赖也在里面)),放到集群上总是报StringDecoder 找不到class,但我确定是存在的,就算换成另一种--jars提交了相关kafka的依赖包,spark-submit执行后不是TopicMetadataRequest类找不到就是StringDecoder找不到,kafka是0.8.2.1,spark'是1.6.0-cdh5.8.0的,大家遇到过这种问题吗

spark streaming 和 kafka ,打成jar包后((相关第三方依赖也在里面)),放到集群上总是报StringDecoder 找不到class,但我确定是存在的,就算换成另一种--jars提交了相关kafka的依赖包,spark-submit执行

阅读全文

在EMR类中找不到Spark-submit异常java

我有一个jar包捆绑创建一个弹簧启动应用程序,其中我创建spark会话来做一些操作。 然后我发送这个jar AWS EMR,要么运行的spark-submit或者java -jar未工作的可执行文件。 这是我的jar结构 jar -tf <jar

阅读全文

flink消费kafka报错 Couldn't retrieve the JobExecutionResult from the JobManager

Starting execution of program Submitting job with JobID: aca099531abda417700799ace53e0fbd. Waiting for job completion. -------

阅读全文

【FLINK】在同一个流上执行多次sql,导致第二个sql中的where条件不可用

List<String> fields = Lists.newArrayList("rawMessage"); Schema schema = new Schema(); for (int i = 0; i < fields

阅读全文

Spark Structured Streaming error读取字段'topic_metadata'时出错

我正在运行spark 2.4.0和Kafka 0.10.2 var streamingInputDF = spark.readStream .format("kafka") .option("kafka.bootstrap.se

阅读全文

使用flink的kafka到opentsdb:java.lang.NoClassDefFoundError:无法初始化类org.apache.http.conn.ssl.SSLConnectionSocketFactory

"这是我的代码: def saveToOpenTSDB(rows: Iterator[String], url: String) { val requestConfig: RequestConfig = RequestConfig.

阅读全文