1. 云栖社区>
  2. 全部标签>
  3. #kafka#
kafka

#kafka#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

云Kafka搭配云HBase X-Pack构建一体化数据处理平台

云HBase X-Pack是基于Apache HBase、Phoenix、Spark深度扩展,融合Solr检索等技术,支持海量数据的一站式存储、检索与分析。融合云kafka+云HBase X-Pack能够构建一体化的数据处理平台,支持风控、推荐、检索、画像、社交、物联网、时空、表单查询、离线数仓等场景,助力企业数据智能化。

大数据 架构 算法 hbase 融合云 数据处理 消息中间件 logstash spark aliyun 物联网 html 存储 kafka 海量数据

Airbnb 是如何通过 balanced Kafka reader 来扩展 Spark streaming 实时流处理能力的

得益于 balanced Kafka reader,从 Kafka 消费的 Spark 应用程序现在可以横向扩展,并具有任意并行度。平衡分区算法很简单,并且已被证明非常有效。由于这些改进,用于摄取日志记录事件的 Spark streaming 作业可以处理比以前多一个数量级的事件。

算法 日志 数据仓库 Image spark kafka 实时计算 Streaming

2019-5-12的kafka&Flink沙龙收获

kafka 大会,美团、京东大厂的kafka最佳实践经验

监控 域名 日志 集群 离线计算 容灾 性能测试 权限管理 kafka

Kafka

kafka是什么 kafka是采用scala语言开发的一个 多分区 、 多副本 且 基于zookeeper协调的 分布式 消息系统。 kafka是 高吞吐、可持久化、可水平扩展、支持流数据等多种特性的分布式流式处理平台 kafka扮演的三大角色:消息系统、存储系统、流式处理平台.

分布式 消息系统 docker 集群 Image Server zookeeper kafka 流数据 zookeeper集群 kafka集群

Fabric Kafka共识原理解析

Hyperledger Fabric推荐Kafa用于生产环境。Kafa是一个分布式、具有水平伸缩能力、崩溃容错能力的日志系统。在Hyperledger Fabric区块链中可以有多个Kafka节点,使用zookeeper进行同步管理。

日志 集群 排序 zookeeper 存储 kafka fabric hyperledger

使用EMR-Flume同步Kafka数据到HDFS

Flume是一个分布式、可靠和高效的数据汇聚系统,其source、channel和sink的结构设计,不仅实现了数据生产者与消费者的解耦,还提供了数据缓冲的功能。一个比较通用的使用场景是使用Flume将Kafka的数据按照时间分区同步至HDFS,进行实时的流式分析或离线统计。

分布式 大数据 hdfs 性能 配置 集群 agent 负载均衡 同步 aliyun e-mapreduce flume kafka 流式系统

如何在E-MapReduce上进行Kafka集群间数据复制

本文介绍如何使用社区的Kafka MirrorMaker工具进行集群间的数据复制。

大数据 实时系统 配置 集群 消息中间件 request 数据迁移 e-mapreduce Consumer 数据同步 test Create zookeeper kafka 流式

生产实践Kafka与ELK

项目背景,第三方发送数据到kafka。我方负责消费,解码、存储、入库。 开发环境:集群1.0kafka,springboot开发程序 问题:1.kafka服务端与客户端版本不一致,服务端1.0,客户端0.8,导致程序消费到一部分重启后,为消费的数据丢失直接别为已消费,导致剩余数据未走流程。

监控 线程 配置 集群 开发环境 kafka

Linux Ubuntu实战安装Kafka集群管理器 Kafka Manager

Linux Ubuntu实战安装Kafka集群管理器 Kafka Manager经验分享,详细步骤。

linux kafka sudo Manager cannot detected find version SBT dist clean 出错: 0.13.9 launcher

Java Spring Boot 2.0实战百万级Kafka消息中间件与原理解析

Apache Kafka是开源分布式高并发消息中间件,支持每秒百万级消息并发,在互联网高并发架构:双11、电商秒杀抢购、网络直播、IOT大数据采集、聊天App、导航等高并发架构中大量使用。本节课程一起Java Spring Boot2.0实战Kafka并深入其架构原理。

分布式 消息系统 大数据 架构 java 消息队列 Apache spring 消息中间件 MQ kafka Boot 原理

Linux Ubuntu 18.04安装Kafka消息队列MQ中间件

Kafka是开源高并发百万级消息队列MQ中间件,在互联网、物联网IOT、大数据、电商、直播、游戏、导航领域广泛使用。 本文讲解最新的Kafka在Linux系统上的详细安装步骤。

linux 消息系统 大数据 java 消息队列 服务器 ubuntu Apache 中间件 centos MQ 安装 kafka

kafka的SSL证书校验不通过

目前开源日志代理最新版本有的会对ssl握手进行common name的校验,(如logstash 6.x)所以在部署的时候如果采用证书方式进行部署的话需要把连接的域名和common name对应上。推荐采用阿里云的消息服务kafka(采用了SASL_SSL的方式进行ssl加密) 如何检验comm.

消息服务 域名 加密 日志 SSL logstash kafka

Apache Flink 漫谈系列(15) - DataStream Connectors之Kafka

聊什么 为了满足本系列读者的需求,在完成《Apache Flink 漫谈系列(14) - DataStream Connectors》之前,我先介绍一下Kafka在Apache Flink中的使用。所以本篇以一个简单的示例,向大家介绍在Apache Flink中如何使用Kafka。

java Apache API string Consumer charset zookeeper kafka Connector flink DataStream

9
GO