1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. K>
  5. kafka与hadoop的区别

当前主题:kafka与hadoop的区别

kafka与hadoop的区别相关的博客

查看更多 写博客

来!PyFlink 作业的多种部署模式

关于 PyFlink 的博客我们曾介绍过 PyFlink 的功能开发,比如,如何使用各种算子(Join/Window/AGG etc.),如何使用各种 Connector(Kafka, CSV, Socket etc.),还有一些实际的案例。这些都停留在开发

阅读全文

Fivetran:自动化数仓集成服务

Fivetran简介 公司发展 Fivetran提供SaaS服务,它连接到业务关键数据源,提取并处理所有数据,然后将其转储到仓库中,以进行SQL访问和必要的进一步转换。 参考今年9月的融资消息,这家公司过去一两年里发展很迅速: 2012年由Y Combina

阅读全文

18道kafka高频面试题哪些你还不会?(含答案和思维导图)

前言 Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理

阅读全文

Flink最佳实践(二)Flink流式计算系统

前言 在 Flink最佳实践(一)流式计算系统概述 中,我们详细讨论了流式计算系统中 时域、窗口、时间推理与正确性工具 等概念。 本文将以这些概念为基础,逐一介绍 Flink 的 发展背景、核心概念、时间推理与正确性工具、安装部署、客户端操作、编程API 等

阅读全文

HBase最佳实践

本文致力于从架构原理、集群部署、性能优化与使用技巧等方面,阐述在如何基于HBase构建 容纳大规模数据、支撑高并发、毫秒响应、稳定高效的OLTP实时系统 。 一、架构原理 1.1 基本架构 从上层往下可以看到HBase架构中的角色分配为: Client Zo

阅读全文

日均百亿级日志处理:微博基于 Flink 的实时计算平台建设

作者:微博广告数据平台 随着微博业务线的快速扩张,微博广告各类业务日志的数量也随之急剧增长。传统基于 Hadoop 生态的离线数据存储计算方案已在业界形成统一的默契,但受制于离线计算的时效性制约,越来越多的数据应用场景已从离线转为实时。微博广告实时数据平台以

阅读全文

帆软FineBI5.1集群模式踩坑指南

帆软FineBI5.1集群模式踩坑指南 安装之前,貌似没做任何准备,centos7.7 [hadoop@master ~]$ lsb_release -a LSB Version: :core-4.1-amd64:core-4.1-noarch:cxx-4.

阅读全文

流式计算领域新霸主Flink的那些事儿

Flink项目是大数据计算领域冉冉升起的一颗新星。大数据计算引擎的发展经历了几个过程,从第1代的MapReduce,到第2代基于有向无环图的Tez,第3代基于内存计算的Spark,再到第4代的Flink。因为Flink可以基于Hadoop进行开发和使用,所以

阅读全文