1. 云栖社区>
  2. 全部标签>
  3. #flink#
flink

#flink#

已有48人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

如何从小白进化成 Apache Flink 技术专家?9节基础课程免费公开!

为了让大家更全面地了解 Apache Flink 背后的技术以及应用实践,今天,我们首次免费公开 Apache Flink 系列视频课程。

大数据 SQL Apache 数据处理 API 编程 流计算 flink 实时计算

Blink 有何特别之处?菜鸟供应链场景最佳实践

> 作者:晨笙、缘桥 菜鸟供应链业务链路长、节点多、实体多,使得技术团队在建设供应链实时数仓的过程中,面临着诸多挑战,如:如何实现实时变Key统计?如何实现实时超时统计?如何进行有效地资源优化?如何提升多实时流关联效率?如何提升实时作业的开发效率? 而 Blink 能否解决这些问题?下面一起来深入了解。 ## 背景 菜鸟从2017年4月开始探索 Blink(即 Apache

大数据 最佳实践 性能 阿里技术协会 配置 Blink flink 实时计算

【线下活动】阿里云实时计算沙龙 · 北京站

现场体验阿里云实时计算在不同场景下最优解决方案,Flink在人脸识别等业务中的优异表现。

大数据 架构 SQL 流式计算 解决方案 流计算 Blink 人脸识别 flink 实时计算 公共云

Flink 闭包清除源码分析

0x1 摘要 本文主要讲解Flink里为什么需要做闭包清除?Flink是怎么实现闭包清除的? 0x2 Flink 为什么要做闭包清除 大家都知道Flink中算子都是通过序列化分发到各节点上,所以要确保算子对象是可以被序列化的,很多时候大家比较喜欢直接用匿名内部类实现算子,而匿名内部类就会带来闭包问题,当匿名内部类引用的外部对象没有实现序列化接口时,就会导致内部类无法被序列化,因此Flink框架底层必须做好清除工作。

源码 string static exception class 闭包 flink ClosureCleaner

Apache Flink Meetup · 北京站

Apache Flink Community China Meetup,关于大数据、实时计算、流计算、批处理等。邀请到Apache Flink PMC和Airbnb、阿里巴巴多位 Apache Flink Committer 现场分享。

大数据 架构 算法 Apache Hive 高性能 流计算 flink 实时计算

Lambda plus: 云上大数据解决方案

本文会简述大数据分析场景需要解决的技术挑战,讨论目前主流大数据架构模式及其发展。最后我们将介绍如何结合云上存储、计算组件,实现更优的通用大数据架构模式,以及该模式可以涵盖的典型数据处理场景。 大数据处理的挑战 现在已经有越来越多的行业和技术领域需求大数据分析系统,例如金融行业需要使用大数据系统结合VaR(value at risk)或者机器学习方案进行信贷风控,零售、餐饮行业需要大数据系统实现辅助销售决策,各种IOT场景需要大数据系统持续聚合和分析时序数据,各大科技公司需要建立大数据分析中台等等。

大数据 架构 aliyun 解决方案 索引 表格存储 存储 view 流计算 lambda Blink flink 大数据架构 Kappa 批计算

5分钟从零构建第一个 Apache Flink 应用

作者:伍翀 在本文中,我们将从零开始,教您如何构建第一个Apache Flink (以下简称Flink)应用程序。 开发环境准备 Flink 可以运行在 Linux, Max OS X, 或者是 Windows 上。

大数据 java Apache 数据流 Maven 控制台 string Bash flink

Deploy Apache Flink Natively on YARN/Kubernetes

作者:任春德 Apache Flink作为下一代大数据计算引擎,在迅速发展强大中,其内部架构也在不断优化重构,以适应更多运行时环境和更大计算规模,Flink Improvement Proposals-6重新设计了在各集群管理系统(Standalone/YARN/Kubernetes等)上资源调度的统一架构,本文将介绍资源调度的架构发展及其清晰分层等设计特点,YARN上per-Job和session两种模式的实现,以及正在讨论开发的与K8S云原生融合的详细设计。

大数据 架构 Apache cluster 集群 html flink

Apache Flink Time & Window 深度解析

作者:邱从贤 1、 Window & Time 介绍 Apache Flink(以下简称 Flink) 是一个天然支持无限流数据处理的分布式计算框架,在 Flink 中 Window 可以将无限流切分成有限流,是处理有限流的核心组件,现在 Flink 中 Window 可以是时间驱动的(Time Window),也可以是数据驱动的(Count Window)。

大数据 Apache flink 实时计算

Apache Flink®生态所面临的机遇与挑战

作者:简锋 引言 在谈生态之前,我们来聊聊什么是生态。生态是指在某个特定领域,以某个组件为核心衍生出来其他多个组件,这些组件可以间接或者直接用到这个核心组件,然后辅助这个核心组件共同完成一个更大或者更特殊的任务。

python 深度学习 大数据 SQL Apache 数据仓库 开发环境 Hive flink 实时计算

阿里巴巴为什么选择Apache Flink?

作者:王峰 整理:韩非 本文主要整理自云栖大会阿里巴巴计算平台事业部资深技术专家王峰(花名:莫问)在云栖大会‘开发者生态峰会’上发表的演讲。 伴随着海量增长的数据,数字化时代的未来感扑面而至。

大数据 Apache 数据处理 流式计算 开源大数据 API 分布式架构 流计算 flink 实时计算

深度剖析阿里巴巴对Apache Flink的优化与改进

本文主要从两个层面深度剖析:阿里巴巴对Flink究竟做了哪些优化? 取之开源,用之开源 一、SQL层 为了能够真正做到用户根据自己的业务逻辑开发一套代码,能够同时运行在多种不同的场景,Flink首先需要给用户提供一个统一的API。

大数据 架构 SQL Apache 集群 数据结构 存储 流计算 flink 实时计算

Apache Flink SQL概览

本篇核心目标是让大家概要了解一个完整的Apache Flink SQL Job的组成部分,以及Apache Flink SQL所提供的核心算子的语义,最后会应用Tumble Window编写一个End-to-End的页面访问的统计示例。

大数据 SQL Apache source Group flink 实时计算

流计算框架 Flink 与 Storm 的性能对比

分布式实时计算框架 Flink 与 Storm 进行性能对比,为实时计算平台和业务提供数据参考。

大数据 storm 性能 线程 测试 流计算 flink 实时计算

一文了解 Apache Flink 核心技术

Apache Flink (以下简称Flink)是近年来越来越流行的一款开源大数据计算引擎,它同时支持了批处理和流处理,也能用来做一些基于事件的应用。使用官网的语句来介绍 Flink 就是 "Stateful Computations Over Streams"。

大数据 SQL Apache 数据流 API 分布式存储 流计算 flink 实时计算

下:比拼生态和未来,Spark和Flink哪家强?

前文对 Spark 和 Flink 的引擎做了对比。对用户来说引擎并不是考虑数据产品的唯一方面。开发和运维相关的工具和环境,技术支持,社区等等,对能不能在引擎上面做出东西来都很重要。这些构成了一个产品的生态。可以说引擎决定了功能和性能的极限,而生态能让这些能力真正发挥出作用。

深度学习 大数据 数据处理 集群 数据分析 spark 开发工具 流计算 flink 实时计算

上:Spark VS Flink – 下一代大数据计算引擎之争,谁主沉浮?

本文对 Spark 和 Flink 的技术与场景进行了全面分析与对比,且看下一代大数据计算引擎之争,谁主沉浮?

大数据 hadoop 性能 数据处理 数据流 spark Mapreduce 流计算 flink 实时计算

阿里巴巴,果然开始拥有“预测未来“的能力了

“大数据实时计算引擎"你可能从未听说过这个引擎,甚至在此刻之前都不知道它的存在,但你很可能早已成为这个引擎服务的一员: 一年一度的双11,无数人涌进天猫,每个人都能用 0.1 秒搜索到自己理想的商品,在智能推荐中发现适合的宝贝,背后正是依赖这个引擎; 双11庆典现场,大屏上那个跳动的总成交量数字,只是背后所有数据的冰山一角。

大数据 算法 淘宝 流式计算 flink 实时计算

携程基于Flink的实时特征平台

本文来自7月26日在上海举行的 Flink Meetup 会议,分享来自于刘康,目前在大数据平台部从事模型生命周期相关平台开发,现在主要负责基于flink开发实时模型特征计算平台。熟悉分布式计算,在模型部署及运维方面有丰富实战经验和深入的理解,对模型的算法及训练有一定的了解。

大数据 架构 消息队列 spark flink 实时计算

Flink在美团的实践与应用

Kafka作为最大的数据中转层,支撑了美团线上的大量业务,包括离线拉取,以及部分实时处理业务等。在数据缓存层之上,是一个引擎层,这一层的左侧是我们目前提供的实时计算引擎,包括Storm和Flink。

大数据 性能 日志 配置 集群 flink 实时计算

8
GO