阿里云实时计算 + 关注 阿里云实时计算

为什么说 Flink + AI 值得期待?

近年来 AI 持续火热,各种计算框架、模型和算法层出不穷,从某种角度上来说,这个赛道已经有些拥挤了。在这种情况下, Flink 将怎样拥抱 AI,又会为用户带来什么新的价值?Flink AI 的优劣势分别在哪里?本文将通过对这些问题的讨论来...

大数据 架构 算法 Apache Image AI 流计算 flink 实时计算 流批统一 AI实时化

Flink 1.10 Native Kubernetes 原理与实践

Flink 在 1.10 版本完成了 Active Kubernetes Integration 的第一阶段,支持了 session clusters。后续的第二阶段会提供更完整的支持,如支持 per-job 任务提交,以及基于原生 Kub...

大数据 java native 日志 Apache 数据处理 高可用 cluster 集群 pods 流计算 kubernetes flink 实时计算 流批统一

Flink 1.10 和 Hive 3.0 性能对比(附 Demo 演示 PPT)

Flink 作为一个统一的计算引擎,旨在提供统一的流批体验以及技术栈。Flink 在 1.9 合并了 Blink 的代码,并在 1.10 中完善了大量的功能以及性能,可以运行所有 TPC-DS 的查询,性能方面也很有竞争力,Flink 1....

大数据 性能 集群 测试 Hive demo Mapreduce 流计算 flink 实时计算 批流一体

从 Spark Streaming 到 Apache Flink:bilibili 实时平台的架构与实践

本文由 bilibili 大数据实时平台负责人郑志升分享,基于对 bilibili 实时计算的痛点分析,详细介绍了 bilibili Saber 实时计算平台架构与实践。本次分享主要围绕以下四个方面:实时计算的痛点、Saber 的平台演进、...

大数据 redis 架构 hbase SQL Apache 数据处理 集群 spark 流计算 flink 实时计算

速度收藏!看完这份知识图谱,才算搞懂 Flink!

社区整理了这样一份知识图谱,由 Apache Flink Committer 执笔,四位 PMC 成员审核,将 Flink 9 大技术版块详细拆分,突出重点内容并搭配全面的学习素材。看完这份图谱,才算真的搞懂 Flink!

大数据 storm Apache 数据处理 编程 html 流计算 flink 实时计算 知识图谱

Apache Flink 1.10.0 重磅发布,年度最大规模版本升级!

Flink 1.10 同时还标志着对 Blink[1] 的整合宣告完成,随着对 Hive 的生产级别集成及对 TPC-DS 的全面覆盖,Flink 在增强流式 SQL 处理能力的同时也具备了成熟的批处理能力。

python 函数 SQL Apache 配置 集群 内存 API Hive html release flink

从开发到生产上线,如何确定集群规划大小?

在 Flink 社区中,最常被问到的问题之一是:在从开发到生产上线的过程中如何确定集群的大小。这个问题的标准答案显然是“视情况而定”,但这并非一个有用的答案。本文概述了一系列的相关问题,通过回答这些问题,或许你能得出一些数字作为指导和参考。

大数据 数据处理 集群 磁盘 流计算 flink 实时计算 集群规模

百万TPS高吞吐、秒级低延迟,阿里​搜索离线平台如何实现?

阿里主搜(淘宝天猫搜索)是搜索离线平台非常重要的一个业务,具有数据量大、一对多的表很多、源表的总数多和热点数据等特性。对于将主搜这种逻辑复杂的大数据量应用迁移到搜索离线平台总是不缺少性能的挑战,搜索离线平台经过哪些优化最终实现全量高吞吐、增...

大数据 性能 数据处理 同步 搜索引擎 阿里 数据存储 flink 实时计算

来!PyFlink 作业的多种部署模式

关于 PyFlink 的博客我们曾介绍过 PyFlink 的功能开发,比如,如何使用各种算子(Join/Window/AGG etc.),如何使用各种 Connector(Kafka, CSV, Socket etc.),还有一些实际的案例...

python 大数据 docker hadoop Apache 数据处理 集群 容器 流计算 flink 实时计算

最新消息!Cloudera 全球发行版正式集成 Apache Flink

近期 Cloudera Hadoop 大神 Arun 在 Twitter 上宣布 Cloudera Data Platform 正式集成了 Flink 作为其流计算产品,Apache Flink PMC Chair Stephan 也回应:...

大数据 Apache 数据处理 数据流 集群 流计算 cloudera flink 实时计算 流数据

实至名归!Flink 再度成为 Apache 基金会最活跃的开源项目

2019 年对 Apache 软件基金会(简称 ASF)来说,依然是伟大的一年:它标志着开源领导“Apache 之道”(The Apache Way)的 20 年。ASF 的口号,“社区重于代码”(Community Over Code),...

大数据 Apache 数据处理 Netbeans 流计算 flink 实时计算

Flink Weekly | 每周社区动态更新 - 20200114

本文为 Flink Weekly 的第四期,由 Forward Xu 整理,主要内容包括:Flink 1.10 版本的发布测试,SQL catalog 读取关系数据库 schema 的相关建议以及 Flink Forward 旧金山的演讲邀...

大数据 postgres Apache 数据处理 数据库 events 配置 测试 schema html 流计算 flink 实时计算 Weekly

小米流式平台架构演进与实践

小米业务线众多,从信息流,电商,广告到金融等覆盖了众多领域,小米流式平台为小米集团各业务提供一体化的流式数据解决方案,主要包括数据采集,数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条,实时同步任务 1.5 万,实时计算的数据...

大数据 架构 监控 消息队列 SQL 模块 数据处理 配置 平台架构 spark 流式计算 流计算 flink 实时计算 实时数仓

基于 Flink 构建 CEP 引擎的挑战和实践

奇安信集团作为一家网络安全公司是如何基于 Flink 构建 CEP 引擎实时检测网络攻击?其中面临的挑战以及宝贵的实践经验有哪些?本文主要内容分为以下四个方面: 1. 背景及现状 2. 技术架构 3. 产品及运维 4. 未来发展...

大数据 网络安全 算法 监控 性能 数据处理 集群 正则表达式 序列 自我保护 流计算 flink 实时计算 CEP

实时计算在贝壳的实践

本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用,通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。

大数据 架构 函数 SQL 模块 数据处理 数据流 存储 数据统计 流计算 flink 实时计算 实时数仓

阿里巴巴大规模应用Flink的踩坑经验:如何大幅降低 HDFS 压力?

众所周知 Flink 是当前广泛使用的计算引擎,Flink 使用 checkpoint 机制进行容错处理[1],Flink 的 checkpoint 会将状态快照备份到分布式存储系统,供后续恢复使用。在 Alibaba 内部我们使用的存储主...

分布式 大数据 hdfs 分布式存储 SST 流计算 flink 实时计算 文件处理

Flink Weekly | 每周社区动态更新

本文为 Flink Weekly 的第三期,由 Tang Yun 整理,主要内容包括:Flink 1.10.0 的发布进展,将 blink planner 设置为 SQL client 默认 planner 的讨论,以及如何支持 SQL c...

大数据 SQL Apache 数据处理 html 流计算 flink 实时计算 Weekly

Flink Weekly | 每周社区动态更新 - 2019/12/31

主要内容包括:讨论在 Flink SQL 中支持 JSON functions,新增 Flink 国内社区的活动和相关博客,以及汇总中文邮件中大家遇到的问题。

大数据 监控 性能优化 SQL Apache 数据处理 高可用 配置 钉钉 html 流计算 flink 实时计算

美团点评基于 Flink 的实时数仓平台实践

数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战,而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中,美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践...

大数据 日志 数据处理 平台架构 OLAP UDF 存储 流计算 flink 实时计算

携程实时智能检测平台建设实践

rophet基本覆盖了携程所有业务线,监控指标的数量达到10K+,覆盖了携程所有订单、支付等重要的业务指标。Prophet将时间序列的数据作为数据输入,以监控平台作为接入对象,以智能告警实现异常的告警功能,并基于Flink实时计算引擎来实现...

深度学习 大数据 算法 监控 消息队列 数据处理 配置 AI 流计算 flink 实时计算

9
GO