作者: ~信~仰~
4246人浏览
评论数：0
3年前
kafka架构 Kafka是分布式、分区的、多副本的、多订阅者，高吞吐率，支持水平扩展，基于zookeeper协调的分布式消息系统。常见用于web/nginx日志、访问日志，消息服务等。主要应用场景是：日志收集系统和消息系统。 一个典型的 kafka 集群包
作者: liketic
4625人浏览
评论数：0
3年前
简介 Kafka作为最流行的消息队列，在业界有这非常广泛的使用。不少用户把日志投递到Kafka之后，再使用其他的软件如ElasticSearch进行分析。Kafka Connect 是一个专门用于在Kafka 和其他数据系统直接进行数据搬运插件，如将Kafk
作者: 金竹
7361人浏览
评论数：5
4年前
聊什么 为了满足本系列读者的需求，在完成《Apache Flink 漫谈系列(14) - DataStream Connectors》之前，我先介绍一下Kafka在Apache Flink中的使用。所以本篇以一个简单的示例，向大家介绍在Apache Flin
作者: 蘑菇街隐修
728人浏览
评论数：0
5年前
简介 Kafka擅长于做什么？ 它被用于两大类应用： 在应用间构建实时的数据流通道 构建传输或处理数据流的实时流式应用 几个概念： Kafka以集群模式运行在1或多台服务器上 Kafka以topics的形式存储数据流 每一个记录包含一个key、一个valu
作者: 一见蓝天
1764人浏览
评论数：0
4年前
Kafka常用命令收录.pdf 目录 目录 1 1. 前言 2 2. Broker默认端口号 2 3. 启动Kafka 2 4. 创建Topic 2 5. 列出所有Topic 2 6. 删除Topic 3 7. 查看Topi
作者: 消失er
1462人浏览
评论数：0
4年前
应用程序使用 KafkaConsumer向 Kafka 订阅主题，并从订阅的主题上接收消息 。 从 Kafka 读取数据不同于从其他悄息系统读取数据，它涉及一些独特的概念和想法。如果不先理解 这些概念，就难以理解如何使用消费者 API。所以我们接下来先解释这
作者: wqnmbdd
2228人浏览
评论数：0
7年前
【本文转自于Kafka深度解析】 背景介绍 Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能 高吞吐率。即使在非常廉价的
作者: jasonli4
9388人浏览
评论数：0
4年前
引言 在很多领域，如股市走向分析, 气象数据测控，网站用户行为分析等，由于数据产生快，实时性强，数据量大，所以很难统一采集并入库存储后再做处理，这便导致传统的数据处理架构不能满足需要。流计算的出现，就是为了更好地解决这类数据在处理过程中遇到的问题。与传统架构不
作者: 莱昂007
1970人浏览
评论数：1
4年前
flink程序在yarn上执行 kafka source topic分区为20 设置程序并行度为10，-yn 2 -ys 5 -ytm 26600 -yjm 5120，我看到网上有说是因为程序并行度太高导致打开的文件数太多，从而导致的在hdfs创建文件不成功，
