+ 关注 提问 已有2人关注此标签
作者: 阿里云实时计算Flink 2人浏览
想要搭建流式链路就必须得抛弃现有的 Hive 数仓吗?并不是,借助 Flink 可以实现已有的 Hive 离线数仓准实时化。本文整理自 Apache Flink Committer、阿里巴巴技术专家李劲松的分享,文章将分析当前离线数仓实时化的难点,详解 Flink 如何解决 Hive 流批一体准实时数仓的难题,实现更高效、合理的资源配置。
架构 Hive 分区表 存储
作者: 阿里云实时计算Flink 4人浏览
旨在帮助用户快速了解新版本 Table & SQL 在 Connectivity 和 Simplicity 等方面的优化及实际开发使用的最佳实践。
架构 SQL 数据库 Hive Create 流计算
作者: 阿里云实时计算Flink 1人浏览
本文先通过源码简单过一下分区提交机制的两个要素——即触发(trigger)和策略(policy)的实现,然后用合并小文件的实例说一下自定义分区提交策略的方法。
hadoop SQL Apache path string Hive class schema list arraylist
作者: 阿里云实时计算Flink 24人浏览
从业界来看,实时化的趋势正在加速,本文将介绍 BIGO 基于 Flink 的实时计算平台的建设经验和成果。
大数据 监控 etl 高可用 配置 集群 Hive
作者: 阿里云实时计算Flink 13人浏览
Flink 1.11 正式发布已经三周了,其中最吸引我的特性就是 Hive Streaming。正巧 Zeppelin-0.9-preview2 也在前不久发布了,所以就写了一篇 Zeppelin 上的 Flink Hive Streaming 的实战解析。
架构 Apache 配置 string Hive source
作者: 阿里云实时计算Flink 21人浏览
SQL 作为 Flink 中公认的核心模块之一,对推动 Flink 流批一体功能的完善至关重要。在 1.11 中,Flink SQL 也进行了大量的增强与完善,开发大功能 10 余项,不仅扩大了应用场景,还简化了流程,上手操作更简单。
SQL 模块 Hive source 数据结构 流计算
作者: 阿里云实时计算Flink 40人浏览
Flink 1.11 的 Hive Streaming 功能大大提高了 Hive 数仓的实时性,对 ETL 作业非常有利,同时还能够满足流式持续查询的需求,具有一定的灵活性。
SQL Json Apache scala string Hive schema
作者: 阿里云实时计算Flink 52人浏览
7月7日,Flink 1.11.0 正式发布了,作为这个版本的 release manager 之一,我想跟大家分享一下其中的经历感受以及一些代表性 feature 的解读。在进入深度解读前,我们先简单了解下社区发布的一般流程,帮助大家更好的理解和参与 Flink 社区的工作。
python 性能 集群 Hive source
作者: 阿里云实时计算Flink 26人浏览
在数据中台建设过程中,一个典型的数据集成场景是将 MQ (Message Queue,例如 Kafka、RocketMQ 等)的数据导入到 Hive 中,以供下游数仓建设以及指标统计。由于 MQ-Hive 是数仓建设第一层,因此对数据的准确性以及实时性要求比较高。
架构 hdfs 解决方案 Hive 容灾 source 存储
作者: 阿里云实时计算Flink 10人浏览
在保证优秀性能的同时,易用性是 1.11 版本 Flink SQL 的重头戏。易用性的提升主要体现在以下几个方面:更方便的追加或修改表定义、灵活的声明动态的查询参数、加强和统一了原有 TableEnv 上的 SQL 接口、简化了 connector 的属性定义、对 Hive 的 DDL 做了原生支持、加强了对 python UDF 的支持。
python SQL Apache API string Hive UDF Create timestamp
作者: 云栖号资讯小编 1048人浏览
本文分享作者在大数据系统实践过程中接触过的一些工具及使用感受,抛砖引玉,和同学们一起构建一个分布式产品的全景图。
分布式 大数据 hbase hdfs hadoop Apache Image spark Hive Mapreduce 存储
作者: 开源大数据EMR 12人浏览
本文介绍都有哪些情况会产生笛卡尔积,以及如何事前"预测"写的SQL会产生笛卡尔积从而避免
hadoop SQL Apache spark 开源大数据 string Hive
作者: 云栖号资讯小编 639人浏览
阿里高级技术专家王治江将深度剖析 Flink 1.11.0 带来了哪些让大家期待已久的特性,对一些有代表性的 feature 从不同维度解读。