1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. K>
  5. kafka消费

当前主题:kafka消费

kafka消费相关的博客

【最佳实践】 轻量化数据采集器Beats入门教程

轻量化数据采集器Beats入门教程,帮助 Elasticsearch 初学者全面了解什么是 Beats、如何快速部署 Beats。 本文作者:刘晓国-Elastic社区布道师 Elasticsearch Elasticsearch是一个分布式的开源搜索和分析

阅读全文

SAP Data Intelligence Modeler里的Kafka Producer和Kafka Consumer

首先本地将kafka的docker容器镜像下载到本地并运行: docker search kafka docker pull spotify/kafka docker run --name kafka3 spotify/kafka docker ps命令,查

阅读全文

使用类似搭积木的低代码开发方式进行SAP API开发

Jerry之前的文章SAP API开发方法大全 介绍的第七种SAP API开发方式,SAP Data Intelligence Graph,实际上是Low Code Development(低代码开发)的一种体现。 本文通过一个具体的例子来介绍,如何在SAP

阅读全文

SparkStreaming 手动维护kafka Offset到Mysql实例

官网详解地址http://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html 手动提交offset,以保证数据不会丢失,尤其是在网络抖动严重的情况下,但是如果kafka挂掉重启

阅读全文

Flink kafka source & sink 源码解析

Flink kafka source & sink 源码解析 原创 吴鹏 Flink 中文社区 4天前 摘要:本文基于 Flink 1.9.0 和 Kafka 2.3 版本,对 Flink Kafka source 和 sink 端的源码进行解析,主要内容分

阅读全文

快速起步Apache Flink,这远比我们看到的更强大

云栖号资讯:【点击查看更多行业资讯】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 1.什么是 Apache Flink? Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。该项目是柏林工业大学的一个研究性项目。早期,F

阅读全文

讲真,应该选择RabbitMQ还是Kafka?

云栖号资讯:【点击查看更多行业资讯】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 作为一个有丰富经验的微服务系统架构师,经常有人问我,应该选择 RabbitMQ 还是 Kafka? ![image](https://yqfile.alic

阅读全文

趣头条基于 Flink+ClickHouse 构建实时数据分析平台

作者:王金海@趣头条 摘要:本文由趣头条数据平台负责人王金海分享,主要介绍趣头条 Flink-to-Hive 小时级场景和 Flink-to-ClickHouse 秒级场景,内容分为以下四部分: 一、业务场景与现状分析 二、Flink-to-Hive 小时级

阅读全文

从阿里、腾讯的面试真题中总结了这11个Redis高频面试题

前言 现在大家的工作生活基本已经是回归正轨了,最近也是迎来了跳槽面试季,有些人已经拿到了一两个offer了。 这段时间收集了阿里、腾讯、百度、京东、美团、字节跳动等公司的Java面试题,总结了Redis系列的高频面试题: 1、Redis持久化机制 2、缓存雪

阅读全文

日志收集系统在大搜车的探索和实践

云栖号资讯:【点击查看更多行业资讯】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 引言 大搜车日志分为两种:业务日志和链路日志。 业务日志是业务开发人员在代码里面自己打印的日志,为方便开发人员快速查阅分布在多台机器上的日志,我们提供了业务

阅读全文

架构篇:什么是微服务架构 Spring Cloud?

云栖号资讯:【点击查看更多行业资讯】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 1.为什么微服务架构需要Spring Cloud 简单来说,服务化的核心就是将传统的一站式应用根据业务拆分成一个一个的服务,而微服务在这个基础上要更彻底地去

阅读全文

五分钟学后端技术:一篇文章教你读懂大数据技术栈!

作者:网易云 链接:https://www.zhihu.com/question/27696290/answer/381993207 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 什么是大数据 近几年,市场上出现了很多和大

阅读全文

【通知】3月31日RDS MySQL数据订阅(旧版)功能下线

云栖号快速入门:【点击查看更多云产品快速入门】 不知道怎么入门?这里分分钟解决新手入门等基础问题,可快速完成产品配置操作! 为了给您带来更优质的产品体验,阿里云自2020年3月31日起下线RDS MySQL的数据订阅(旧版)功能。 背景信息 RDS MySQ

阅读全文

五分钟学后端技术:如何学习后端工程师必学的消息队列

原创声明 本文首发于微信公众号【程序员黄小斜】 本文作者:黄小斜 转载请务必在文章开头注明出处和作者。 本文思维导图 什么是消息队列 “RabbitMQ?”“Kafka?”“RocketMQ?”...在日常学习与开发过程中,我们常常听到消息队列这个关键词,可

阅读全文

Netflix:如何打造开放协作的实时 ETL 平台?

摘要:本文由 Netflix 高级软件工程师徐振中分享,内容包含有趣的案例、分布式系统基础方面的各种挑战以及解决方案,此外还讨论了其在开发运维过程中的收获,对开放式自助式实时数据平台的一些新愿景,以及对 Realtime ETL 基础平台的一些新思考。文章内

阅读全文

Apache Flink 进阶(十二):深度探索 Flink SQL

作者:贺小令(晓令) 整理:郑仲尼 本文根据 Apache Flink 进阶篇系列直播整理而成,由阿里巴巴技术专家贺小令分享,文章将从用户的角度来讲解 Flink 1.9 版本中 SQL 相关原理及部分功能变更,希望加深大家对 Flink 1.9 新功能的理

阅读全文

【热点】Kafka与传统中间件(MQ,ETL,ESB)的比较

自从Linkin开源Kafka之后,它似乎成了可以叫嚣所有传统消息中间件产品的行业新宠。事实上他也确实成为了大规模消息、微服务解耦以及可靠轻量流处理的业界标准解决方案。 我们知道在传统企业的数据汇聚层,往往会涉及到四到五种产品或者是开源的框架并且支持高可用和

阅读全文

kafka实现无消息丢失与精确一次语义(exactly once)处理

kafka实现无消息丢失与精确一次语义(exactly once)处理 在很多的流处理框架的介绍中,都会说kafka是一个可靠的数据源,并且推荐使用Kafka当作数据源来进行使用。这是因为与其他消息引擎系统相比,kafka提供了可靠的数据保存及备份机制。并且

阅读全文

不可不知的Spark调优点

在利用Spark处理数据时,如果数据量不大,那么Spark的默认配置基本就能满足实际的业务场景。但是当数据量大的时候,就需要做一定的参数配置调整和优化,以保证业务的安全、稳定的运行。并且在实际优化中,要考虑不同的场景,采取不同的优化策略。 1.合理设置微批处

阅读全文

一套 SQL 搞定数据仓库?Flink有了新尝试

云栖号资讯:【点击查看更多行业资讯】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! ![image](https://yqfile.alicdn.com/b4a73de39d589bb2e1054dc12aeccbf85a7a1ec7.pn

阅读全文

60