巴蜀真人 + 关注
Alibaba Blink 产品负责人

从 Storm 到 Flink,汽车之家基于 Flink 的实时 SQL 平台设计思路与实践

发布时间:2019-10-17 19:39:52 浏览:1942 评论:0

汽车之家的实时 SQL 平台设计思路与实践,主要从架构及设计思路、基于 Flink SQL 平台的实时数仓的实践及使用案例、后续规划。

阿里云实时计算专项

Flink 实时写入数据到 ElasticSearch 性能调优

发布时间:2019-10-16 19:31:20 浏览:672 评论 :0

线上业务反应使用 Flink 消费上游 kafka topic 里的轨迹数据出现 backpressure,数据积压严重。单次 bulk 的写入量为:3000/50mb/30s,并行度为 48。针对该问题,为了避免影响线上业务申请了一个与线上集群配置相同的 ES 集群。

大数据 java 性能 线程 数据处理 配置 集群 索引 Elasticsearch CPU index 流计算 实时计算 ApacheFlink

Apache Flink 进阶(四):Flink on Yarn/K8s 原理剖析及实践

发布时间:2019-10-14 20:32:06 浏览:477 评论 :0

本文主要介绍 Flink on Yarn/K8s 的原理及应用实践,文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行分享并对 Flink on Yarn/Kubernetes 中存在的部分问题进行了解答。

大数据 架构 Apache 数据处理 高可用 配置 镜像 集群 session 流计算 实时计算 ApacheFlink

Flink Kafka Connector 与 Exactly Once 剖析

发布时间:2019-10-14 17:37:41 浏览:485 评论 :0

Flink Kafka Connector 是 Flink 内置的 Kafka 连接器,它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka Topic 写出数据的 Flink Kafka Producer,除此之外 Flink Kafa Connector 基于 Flink Checkpoint 机制提供了完善的容错能力。

大数据 数据处理 Consumer 流计算 实时计算 ApacheFlink

重磅揭晓!Flink Forward Asia 2019 议程完整出炉

发布时间:2019-10-14 11:34:47 浏览:1444 评论 :0

60 年前,人工智能的诞生刷新了人类对技术的期待;过去 10 年,大数据、云计算等核心技术的发展,推动了整个社会的重构与革新;5 年时间,移动互联网从诞生到逐步实现万物互联,数据在现实中的边界正在不断被拓展;技术迭变的进程不断加快,新兴技术的涌现昼夜不停。

深度学习 大数据 Apache 人工智能 开源大数据 培训 流计算 ApacheFlink 实时技术 FlinkForwardAsia

Flink SQL 系列 | 5 个 TableEnvironment 我该用哪个?

发布时间:2019-09-29 16:34:03 浏览:1278 评论:1

本文为 Flink SQL 系列文章的第二篇,前面对 Flink 1.9 Table 新架构及 Planner 的使用进行了详细说明,本文详细讲解 5 个 TableEnvironment 及其适用场景,并介绍 Flink 社区对 TableEnvironment 的未来规划。

阿里云实时计算专项

如何构建批流一体数据融合平台的一致性语义保证?

发布时间:2019-09-29 16:22:25 浏览:1438 评论:0

本文根据陈肃老师在 Apache Kafka x Flink Meetup 深圳站的分享整理而成,文章首先将从数据融合角度,谈一下 DataPipeline 对批流一体架构的看法,以及如何设计和使用一个基础框架。其次,数据的一致性是进行数据融合时最基础的问题。

阿里云实时计算专项

阿里巴巴高级技术专家章剑锋:大数据发展的 8 个要点

发布时间:2019-09-29 14:12:50 浏览:1769 评论:0

章剑锋(简锋),开源界老兵,Apache Member,曾就职于 Hortonworks,目前在阿里巴巴计算平台事业部任高级技术专家,并同时担任 Apache Tez、Livy 、Zeppelin 三个开源项目的 PMC ,以及 Apache Pig 的 Committer。

阿里云实时计算专项

Flink on YARN(下):常见问题与排查思路

发布时间:2019-09-29 11:33:34 浏览:1024 评论:0

上篇分享了基于 FLIP-6 重构后的资源调度模型介绍 Flink on YARN 应用启动全流程,本文将根据社区大群反馈,解答客户端和 Flink Cluster 的常见问题,分享相关问题的排查思路。

阿里云实时计算专项

Flink on YARN(上):一张图轻松掌握基础架构与启动流程

发布时间:2019-09-25 13:07:03 浏览:3320 评论:0

本文基于FLIP-6重构后的资源调度模型介绍Flink on YARN应用启动全流程,解答客户端和Flink Cluster的常见问题,分享相关问题的排查思路。

阿里云实时计算专项

Apache Flink 进阶(三):Checkpoint 原理解析与应用实践

发布时间:2019-09-25 10:16:12 浏览:1494 评论:0

大家好,今天我将跟大家分享一下 Flink 里面的 Checkpoint,共分为四个部分。首先讲一下 Checkpoint 与 state 的关系,然后介绍什么是 state,第三部分介绍如何在 Flink 中使用state,第四部分则介绍 Checkpoint 的执行机制。

阿里云实时计算专项

开篇 | 揭秘 Flink 1.9 新架构,Blink Planner 你会用了吗?

发布时间:2019-09-19 16:35:56 浏览:3842 评论:0

本文为 Apache Flink 新版本重大功能特性解读之 Flink SQL 系列文章的开篇,Flink SQL 系列文章由其核心贡献者们分享,涵盖基础知识、实践、调优、内部实现等各个方面,带你由浅入深地全面了解 Flink SQL。

阿里云实时计算专项

Apache Flink 进阶入门(二):Time 深度解析

发布时间:2019-09-16 17:09:02 浏览:2748 评论 :0

Flink 的 API 大体上可以划分为三个层次:处于最底层的 ProcessFunction、中间一层的 DataStream API 和最上层的 SQL/Table API,这三层中的每一层都非常依赖于时间属性。

大数据 Apache 数据处理 数据流 Processing API timestamp 流计算 实时计算 ApacheFlink

Flink Checkpoint 问题排查实用指南

发布时间:2019-09-16 17:01:06 浏览:3061 评论:1

本文会统一聊一聊 Flink 中 Checkpoint 异常的情况(包括失败和慢),以及可能的原因和排查思路。

阿里云实时计算专项

Apache Flink 进阶(一):Runtime 核心机制剖析

发布时间:2019-09-11 19:33:06 浏览:3695 评论:0

Flink 的整体架构如图 1 所示。Flink 是可以运行在多种不同的环境中的,例如,它可以通过单进程多线程的方式直接运行,从而提供调试的能力。它也可以运行在 Yarn 或者 K8S 这种资源管理系统上面,也可以在各种云环境中执行。

阿里云实时计算专项

Apache Flink 在同程艺龙实时计算平台的研发与应用实践

发布时间:2019-09-11 19:29:23 浏览:1069 评论 :0

本文主要介绍 Apache Flink 在同程艺龙的应用实践,从当前同程艺龙实时计算平台现状、建设过程、易用性提升、稳定性优化四方面分享了同城艺龙实时计算平台的建设经验,供大家参考。

大数据 监控 SQL 日志 线程 Apache 数据处理 配置 集群 Elasticsearch 流计算 实时计算 ApacheFlink

回顾 | Apache Flink Meetup ·上海站(附PPT下载链接)

发布时间:2019-09-11 19:27:47 浏览:1197 评论 :0

9 月 7 日,Apache Flink Meetup 上海站,上海的同学再次演绎了站无虚席的爆满场面。现场来自阿里巴巴、intel、趣头条的技术专家们分享了 Zeppelin 中玩转 Flink 与 Hive、趣头条的应用实践、Flink 性能优化、TensorFlow 与 Flink 的应用实践等众多干货内容,并有 Demo 演示环节。

深度学习 大数据 性能优化 Apache 数据处理 集群 平台架构 Hive demo 流计算 大数据分析 实时计算 ApacheFlink

如果你也想做实时数仓…

发布时间:2019-09-09 15:57:09 浏览:1179 评论 :0

数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务,数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。

大数据 架构 消息队列 数据处理 数据仓库 流计算 实时计算 Apache_Flink

Apache Flink Meetup · 北京站,可能有你最想听的内容!

发布时间:2019-09-09 15:54:38 浏览:7063 评论 :0

9 月 21日,Flink 社区邀请了来自小米、贝壳找房、intel 以及 Apache Flink PMC 相聚北京,解读 Flink 在大型企业应用实践、实时数仓建设、性能优化以及 Flink 1.9 重大新增功能特性。

python 大数据 性能优化 Apache 数据处理 流式计算 API 流计算 推荐系统 实时计算 知识图谱 Apache_Flink

如何在 Apache Flink 中使用 Python API?

发布时间:2019-09-09 12:00:59 浏览:2109 评论:0

为大家介绍 Flink Python API 的现状及未来规划,主要内容包括:Apache Flink Python API 的前世今生和未来发展;Apache Flink Python API 架构及开发环境搭建;Apache Flink Python API 核心算子介绍及应用。

阿里云实时计算专项

3