1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. K>
  5. kafka 存储hadoop

当前主题:kafka 存储hadoop

kafka 存储hadoop相关的博客

查看更多 写博客

从未如此简单:10分钟带你逆袭Kafka!

云栖号资讯:【点击查看更多行业资讯】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 【编者的话】Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统, 使用 Scala 与 Java 语言编写,能够

阅读全文

Flink 1.11 新特性之 SQL Hive Streaming 简单示例

7月7日,Flink 1.11 版本发布,与 1.10 版本相比,1.11 版本最为显著的一个改进是 Hive Integration 显著增强,也就是真正意义上实现了基于 Hive 的流批一体。 本文用简单的本地示例来体验 Hive Streaming 的

阅读全文

有哪些大数据处理工具?

云栖号资讯:【点击查看更多行业资讯】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! ![image](https://yqfile.alicdn.com/bd6a19aac87b524ecac2cdbd22f0a1d6bcd2fd80.pn

阅读全文

解决问题 1474 个,Flink 1.11 究竟有哪些易用性上的改善?

作者 | 王治江,Apache Flink PMC 7月7日,Flink 1.11.0 正式发布了,作为这个版本的 release manager 之一,我想跟大家分享一下其中的经历感受以及一些代表性 feature 的解读。在进入深度解读前,我们先简单了解

阅读全文

字节跳动基于 Flink 的 MQ-Hive 实时数据集成

在数据中台建设过程中,一个典型的数据集成场景是将 MQ (Message Queue,例如 Kafka、RocketMQ 等)的数据导入到 Hive 中,以供下游数仓建设以及指标统计。由于 MQ-Hive 是数仓建设第一层,因此对数据的准确性以及实时性要求比

阅读全文

Flink 1.11:更好用的流批一体 SQL 引擎

许多的数据科学家,分析师和 BI 用户依赖交互式 SQL 查询分析数据。Flink SQL 是 Flink 的核心模块之一。作为一个分布式的 SQL 查询引擎。Flink SQL 提供了各种异构数据源的联合查询。开发者可以很方便地在一个程序中通过 SQL 编

阅读全文

官宣 | 千呼万唤,Apache Flink 1.11.0 正式发布啦!

来源 | Apache Flink 官方博客翻译 | 高赟(云骞) Apache Flink 社区很荣幸的宣布 Flink 1.11.0 版本正式发布!超过 200 名贡献者参与了 Flink 1.11.0 的开发,提交了超过 1300 个修复或优化。这些修

阅读全文

飞天大数据产品价值解读— SaaS模式云数据仓库MaxCompute

飞天大数据产品价值解读 — SaaS模式云数据仓库 MaxCompute 摘要:企业在数字化转型过程中面临数据技术平台建设和运营的诸多挑战,随着现代化数据仓库向多功能、服务化方向发展演进,技术侧的变革为解决企业数据平台各项挑战带来新的可能。MaxComput

阅读全文

kafka 存储hadoop相关问答

提问题

flink state.backend是rocksdb,存储在hdfs上,经常遇到checkpoint执行不成功的情况 checkpoint超时过期的原因(设置checkpoint超时为60s)

flink程序在yarn上执行 kafka source topic分区为20 设置程序并行度为10,-yn 2 -ys 5 -ytm 26600 -yjm 5120,我看到网上有说是因为程序并行度太高导致打开的文件数太多,从而导致的在hdfs创建文件不成功,

阅读全文

[@徐雷frank][¥20]如何将kafka中的数据快速导入Hadoop?

kafka的另一个有效用途是将数据导入Hadoop。具体该如何导入呢?

阅读全文