1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. K>
  5. kafka 1.0

当前主题:kafka 1.0

05【在线日志分析】之Kafka 0.10.1.0 Cluster的搭建和Topic简单操作实验

【kafka cluster机器】:机器名称   用户名称sht-sgmhadoopdn-01/02/03 root 【安装目录】: /root/learnproject/app 1.将scala文件夹同步到集群其他机器(scala 2.11版本,可单独

阅读全文

Spring-Kafka 2.0.0发送API翻译

Kafka Template–2.2.0 api KafkaTemplate KafkaTemplate这个类包装了个生产者,来提供方便的发送数据到kafka的topic里面。 同步和异步的方法都有,异步方法返回一个Future。 ListenableFut

阅读全文

kafka0.9.0 新特性(对比0.8)

image.png 1、引入新的Consumer API 0.9.0相比0.8.2,引入了一个新的Consumer API,这个API不再使用high level和low level的基于zookeeper的client;不过仍然支持0.8.0的client

阅读全文

[异常处理]class kafka.common.UnknownTopicOrPartitionException (kafka.server.ReplicaFetcherThread)

在kafka.out日志里出现大量 ERROR [ReplicaFetcherThread-0-1], Error for partition [FLAG_DATA_SYC,1] to broker 1:class kafka.common.UnknownT

阅读全文

kafka 0.11x 启动30秒后自动停止,报【另一个程序正在使用此文件,进程无法访问】

环境:kafka_2.11-1.1.0,win7_64,java8 现象: 启动30秒后自动停止,报【另一个程序正在使用此文件,进程无法访问】 [2018-06-06 14:32:46,784] INFO [Log partition=myTopic-0,

阅读全文

Apache Kafka 0.8.2.1 发布,消息发布订阅系统

Apache Kafka 0.8.2.1 发布,该版本修复了 4 个关键 bug: [KAFKA-1919] - Metadata request issued with no backoff in new producer if there are no

阅读全文

【问题】kafka.common.errors.RecordTooLargeException,kafka.common.MessageSizeTooLargeException

1、向Kafka中输入数据,抛异常 WARN async.DefaultEventHandler: Produce request with correlation id 92548048 failed due to [TopicName,1]: org.ap

阅读全文

class kafka.common.NotLeaderForPartitionException(kafka.server.ReplicaFetcherThread)异常处理

  [2017-06-15 19:33:14,716] ERROR [ReplicaFetcherThread-0-0], Error for partition [3_7_0_20170615,6] to broker 0:class kafka.comm

阅读全文

kafka 1.0相关问答

查看更多 提问题

kafka.common.KafkaException:错误的请求类型18

我正在运行这段代码。streamingInputDF是Kafka主题的readStream。我正在运行spark 2.4.0和Kafka 0.10.2 val activityQuery = streamingInputDF.writeStream .

阅读全文

flume1.8整合 kafka2.10时,kafka消费者不能实时的接受flume发过来的数据?

![123](https://yqfile.alicdn.com/31133a388c45d1f37dbd30bac254cb2adfca8da1.png) 以上是flume的配置文件 我执行了以下操作: 1. flume提交命令: flume-

阅读全文

spark streaming 和 kafka ,打成jar包后((相关第三方依赖也在里面)),放到集群上总是报StringDecoder 找不到class,但我确定是存在的,就算换成另一种--jars提交了相关kafka的依赖包,spark-submit执行后不是TopicMetadataRequest类找不到就是StringDecoder找不到,kafka是0.8.2.1,spark'是1.6.0-cdh5.8.0的,大家遇到过这种问题吗

spark streaming 和 kafka ,打成jar包后((相关第三方依赖也在里面)),放到集群上总是报StringDecoder 找不到class,但我确定是存在的,就算换成另一种--jars提交了相关kafka的依赖包,spark-submit执行

阅读全文

kafka 添加kerberos认证

kafka版本:kafka_2.11-0.9.0.1 zookeeper版本:zookeeper-3.5.3 ./kafka-console-consumer.sh --zookeeper node1:2181 --topic test --from

阅读全文

Spark Structured Streaming error读取字段'topic_metadata'时出错

我正在运行spark 2.4.0和Kafka 0.10.2 var streamingInputDF = spark.readStream .format("kafka") .option("kafka.bootstrap.se

阅读全文

使用flink的kafka到opentsdb:java.lang.NoClassDefFoundError:无法初始化类org.apache.http.conn.ssl.SSLConnectionSocketFactory

"这是我的代码: def saveToOpenTSDB(rows: Iterator[String], url: String) { val requestConfig: RequestConfig = RequestConfig.

阅读全文

阿里云的kafka,是否支持本地事物

我切换为测试环境自己搭建的kafka本地事物完全木有问题。 切换到阿里云的kafka以后, 就会在创建Producer的时候,报Cannot create a v0 coordinator 2017-11-06 19:25:06.962 INFO

阅读全文

[@小川游鱼][¥20]kafka的消费者stream iterator block,读不出消息?

rt,能够向kafka produce数据,kafka里也看得到,但是consumer却读不出数据,offset是0,程序在stream的iterator被阻塞了。demo代码如下: import java.util.HashMap; import j

阅读全文