1. 云栖社区>
  2. 全部标签>
  3. #kafka#
kafka

#kafka#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

使用Kafka Connect 同步Kafka数据到日志服务

使用Kafka Connect 同步Kafka数据到日志服务 简介 Kafka作为最流行的消息队列,在业界有这非常广泛的使用。不少用户把日志投递到Kafka之后,再使用其他的软件如ElasticSearch进行分析。

大数据 日志 日志服务 Apache 配置 测试 同步 控制台 aliyun string PUT 插件 kafka 日志分析 Kafkaconnect

消息系统端到端Exactly-Once支持

消息系统对于消息的写入和消费提供多种模式,如 at-most-once,at-least-once 和 exactly-once,本文探讨如何在一个消息提供中高效支持exactly-once的写入和消费

消息系统 日志服务 SLS Consumer kafka plusar

Kafka最佳实践

前言 Kafka 是一种分布式的,基于发布/订阅体系的消息队列系统。 能够以 时间复杂度为 O(1) 的方式提供消息持久化能力,即使对 TB 级以上数据也能保证 常数时间复杂度 的访问性能。 即使在非常廉价的商用机器上也能做到单机支持每秒 100K 条以上消息的传输。

分布式系统与计算 消息队列 性能 线程 配置 集群 同步 磁盘 存储 数据存储

在 Flink 算子中使用多线程如何保证不丢数据?

本人通过分析痛点、同步批量请求优化为异步请求、多线程 Client 模式、Flink 算子内多线程实现以及总结四部分帮助大家理解 Flink 中使用多线程的优化及在 Flink 算子中使用多线程如何保证不丢数据。

大数据 线程 数据处理 同步 API string exception 多线程 void 流计算 kafka checkpoint flink 算子 并行度

五年双十一:SLS数据管道发展之路

日志服务SLS是一款飞天团队自研产品,服务云上云下3W+客户,并在阿里经济体中作为日志数据的基础设施,在过去几年中经历多次双十一、双十二、新春红包锤炼。能够服务这个体量和用户规模,对产品的功能、体验、系统的稳定性和可靠性的要求是很高的。

云栖社区 飞天 日志 日志服务 SLS Image cdn Logtail kafka 日志分析 数据管道

实战Hyperledger Fabric 1.4 Kafka排序服务多机集群

Hyperledger Fabric区块链网络搭建已繁琐著称。本教程将介绍如何部署一个分布在4个主机上包含多个排序节点和对等节点的hyperledger fabric区块链集群网络,同时提供源码和配置文件下载。

docker 配置 集群 排序 主机 kafka 部署 fabric hyperledger

Spotify如何使用Cassandra实现个性化推荐

本文翻译自https://labs.spotify.com/2015/01/09/personalization-at-spotify-using-cassandra/在Spotify我们有超过6000万的活跃用户,他们可以访问超过3000万首歌曲的庞大曲库。

互联网产品及应用 大数据 架构 storm 服务器 hdfs 个性化推荐 集群 解决方案 Cassandra 数据中心 存储 kafka 用户画像

基于commons-pool2实现KafkaProducer池来提升kafka发送消息性能

基于commons-pool2实现KafkaProducer池来提升kafka发送消息性能

云栖社区 大数据 服务器 性能 线程 同步 string exception void PUT kafka

Apache Kafka常用命令

1.查看topic详细信息 ./kafka-topics.sh -zookeeper ip:port -describe -topic topicname kafka/bin/kafka-topics.

Json IP Consumer Create zookeeper kafka 命令

Apache Drill 常用Plugins配置

1.kafka { "type":"kafka", "kafkaConsumerProps":{ "bootstrap.servers":"hostname1:9092,hostname2:9092,hostname3:9092", "group.

云栖社区 mysql hbase hdfs Apache 配置 drill JDBC Driver Hive type kafka OpenTSDB kudu

Kafka 原理和实战

本文从Kafka的基本概念、特点、部署和配置、监控和管理等方面阐述 Kafka 的实践过程。

消息队列 日志 LOG 高可用 配置 集群 同步 Server 脚本 Consumer 分布式存储 kafka

Apache Carbondata接入Kafka实时流数据

1.导入carbondata依赖的jar包 将apache-carbondata-1.5.3-bin-spark2.3.2-hadoop2.7.2.jar导入$SPARKHOME/jars;或将apache-carbondata-1.

SQL Apache 配置 spark string stream Create timestamp source 数据存储 kafka 流数据 carbondata

Apache NiFi之Kafka流数据到HBase

一.说明 在大数据平台的业务场景中,处理实时kafka数据流数据,以成为必要的能力;此篇将尝试通过Apache NiFi来接入Kafka数据然后处理后存储之HBase 二.开拔 Ⅰ).配置ConsumeKafka_0_10 测试使用了kafka0.

大数据 hbase Apache 数据流 配置 表空间 zookeeper kafka 流数据 NiFi

8
GO