1. 云栖社区>
  2. 全部标签>
  3. #flink#
flink

#flink#

已有48人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

你有必要了解一下Flink底层RPC使用的框架和原理

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 前言 对于Flink中各个组件(JobMaster、TaskManager、Dispatcher等),其底层RPC框架基于Akka实现,本文着重分析Flink中的Rpc框架实现机制及梳理其通信流程。

RPC 大数据 线程 string Akka class flink

听说你熟悉Flink-On-Yarn的部署模式?

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 前言 Flink提供了两种在yarn上运行的模式,分别为Session-Cluster和Per-Job-Cluster模式,本文分析两种模式及启动流程。

大数据 集群 flink

Flink UDF自动注册实践

1.注册UDF函数1.1 注册相关方法此处,我们使用的udf函数为标量函数,它继承的是ScalarFunction,该类在我们的使用中,发现它继承自UserDefinedFunction这个类,该处的udf函数由用户自己定义,而函数的注册此处我们自己实现; 函数注册时,使用flink的tableE.

java 函数 Apache runtime string class UDF unit flink

Flink在大规模状态数据集下的checkpoint调优

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 今天接到一个同学的反馈问题,大概是: Flink程序运行一段时间就会报这个错误,定位好多天都没有定位到。

大数据 java hdfs hadoop Apache runtime Server 存储 flink

使用Flink实现索引数据到Elasticsearch

5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 使用Flink处理数据时,可以基于Flink提供的批式处理(Batch Processing)和流式处理(Streaming Processing)API来实现,分别能够满足不同场景下应用数据的处理。

大数据 配置 索引 string Elasticsearch void 存储 flink

Apache Flink:Keyed Window与Non-Keyed Window

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? Apache Flink中,Window操作在流式数据处理中是非常核心的一种抽象,它把一个无限流数据集分割成一个个有界的Window(或称为Bucket),然后就可以非常方便地定义作用于Window之上的各种计算操作。

云栖社区 大数据 Apache Image string stream 编程 flink

Flink Exactly-Once 投递实现浅析

5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 随着近来越来越多的业务迁移到 Flink 上,对 Flink 作业的准确性要求也随之进一步提高,其中最为关键的是如何在不同业务场景下保证 exactly-once 的投递语义。

云栖社区 分布式 大数据 实时系统 流式计算 分布式系统 file Commit 流计算 flink

Flink 网络传输优化技术

5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 作为工业级的流计算框架,Flink 被设计为可以每天处理 TB 甚至 PB 级别的数据,所以如何高吞吐低延迟并且可靠地在算子间传输数据是一个非常重要的课题。

大数据 性能 线程 数据流 Image Server 序列 netty 数组 network flink

Flink/Spark 如何实现动态更新作业配置

由于实时场景对可用性十分敏感,实时作业通常需要避免频繁重启,因此动态加载作业配置(变量)是实时计算里十分常见的需求,比如通常复杂事件处理 (CEP) 的规则或者在线机器学习的模型。尽管常见,实现起来却并没有那么简单,其中最难点在于如何确保节点状态在变更期间的一致性。

数据流 配置 spark Driver stream flink

Tablestore + Blink实战:交易数据的实时统计

交易数据的实时统计是电商网站一个核心功能,可以帮助用户实时统计网站的整体销售情况,快速验证“新销售策略”的效果。我们今天介绍一个基于表格存储(Tablestore)实现交易数据的实时计算,给大家提供一个新使用方式。

云栖社区 数据存储与数据库 大屏 电商 Image 控制台 aliyun 表格存储 source varchar 存储 流计算 Blink flink 实时计算

大数据平台常用组件

BigData-Alpha-0.1.0 备注: 未增加zookeeper、Doris、CarbonData 部分归类模糊 仅供参考

redis hbase hadoop zabbix spark zookeeper kafka ELK phoenix flink ClickHouse

用Flink取代Spark Streaming!知乎实时数仓架构演进

本文主要讲述知乎的实时数仓实践以及架构的演进,这包括以下几个方面: - 实时数仓 1.0 版本,主题:ETL 逻辑实时化,技术方案:Spark Streaming。 - 实时数仓 2.0 版本,主题:数据分层,指标计算实时化,技术方案:Flink Streaming。

大数据 架构 etl 日志 数据处理 spark 报表 流计算 flink 实时计算 AI及大数据

Flink动态表

阿里的一篇文章,可以先看看会对动态表有一个模糊的概念动态表就是一个根据流在动态变化的表。从阿里的例子可以看出,当一个表Stream发生改变的时候,就会引起Keyed Table这张表的一个动态变化,表Stream是一个无法撤回的表,Stream表是只能不停增加的一张表,但是Keyed Table 会根据Stream中数据的增长的变化来修改自己count出来的值,随着count值的改变就会使得以count为key的第二张表的改变,第二张表才是我们需要的结果。

大数据 函数 Apache API string stream class void timestamp flink

Flink操作Hbase

现在有这样一个场景,我们需要将hbase做成一个数据流,而不是数据集。根据Flink自带的Flink-Hbase只能帮我们做到数据集,所以这个时候选择了重写Hbase的数据源。 package com.

大数据 java hbase hadoop Apache API string static exception class void PUT list arraylist flink

Flink-Redis-Sink

简介 流式计算中,我们经常有一些场景是消费Kafka数据,进行处理,然后存储到其他的数据库或者缓存或者重新发送回其他的消息队列中。本文讲述一个简单的Redis作为Sink的案例。后续,我们会补充完善,比如落入Hbase,Kafka,Mysql等。

大数据 redis 消息队列 流式计算 string static Consumer class flink

Flink实战项目之实时热销排行

需求 某个图书网站,希望看到双十一秒杀期间实时的热销排行榜单。我们可以将“实时热门商品”翻译成程序员更好理解的需求:每隔5秒钟输出最近一小时内点击量最多的前 N 个商品/图书. 需求分解 将这个需求进行分解我们大概要做这么几件事情: 告诉 Flink 框架基于时间做窗口,我们这里用process...

大数据 c++ string static exception class void input flink

Flink-Table-&-SQL

简介 Apache Flink具有两个关系API - 表API和SQL - 用于统一流和批处理。Table API是Scala和Java的语言集成查询API,允许以非常直观的方式组合来自关系运算符的查询,Table API和SQL接口彼此紧密集成,以及Flink的DataStream和DataSet API。

大数据 SQL API string static exception class input flink

Flink-Kafka-Connector Flink结合Kafka实战

简介 Flink-kafka-connector用来做什么? Kafka中的partition机制和Flink的并行度机制结合,实现数据恢复Kafka可以作为Flink的source和sink任务失败,通过设置kafka的offset来恢复应用 kafka简单介绍 关于kafka,我们会有专题文章介绍,这里简单介绍几个必须知道的概念。

大数据 消息队列 Image Server string exception test zookeeper flink

Flink广播变量

广播变量简介 在Flink中,同一个算子可能存在若干个不同的并行实例,计算过程可能不在同一个Slot中进行,不同算子之间更是如此,因此不同算子的计算数据之间不能像Java数组之间一样互相访问,而广播变量Broadcast便是解决这种情况的。

大数据 string exception list flink

Flink中的Time

时间 时间类型 Flink中的时间与现实世界中的时间是不一致的,在flink中被划分为事件时间,摄入时间,处理时间三种。 如果以EventTime为基准来定义时间窗口将形成EventTimeWindow,要求消息本身就应该携带EventTime 如果以IngesingtTime为基准来定义时间窗口将形成IngestingTimeWindow,以source的systemTime为准。

大数据 消息队列 Processing flink

10
GO