1. 云栖社区>
  2. 全部标签>
  3. #实时计算#
实时计算

#实时计算#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Apache Flink Time & Window 深度解析

作者:邱从贤 1、 Window & Time 介绍 Apache Flink(以下简称 Flink) 是一个天然支持无限流数据处理的分布式计算框架,在 Flink 中 Window 可以将无限流切分成有限流,是处理有限流的核心组件,现在 Flink 中 Window 可以是时间驱动的(Time Window),也可以是数据驱动的(Count Window)。

大数据 Apache flink 实时计算

Apache Flink®生态所面临的机遇与挑战

作者:简锋 引言 在谈生态之前,我们来聊聊什么是生态。生态是指在某个特定领域,以某个组件为核心衍生出来其他多个组件,这些组件可以间接或者直接用到这个核心组件,然后辅助这个核心组件共同完成一个更大或者更特殊的任务。

python 深度学习 大数据 SQL Apache 数据仓库 开发环境 Hive flink 实时计算

阿里巴巴为什么选择Apache Flink?

作者:王峰 整理:韩非 本文主要整理自云栖大会阿里巴巴计算平台事业部资深技术专家王峰(花名:莫问)在云栖大会‘开发者生态峰会’上发表的演讲。 伴随着海量增长的数据,数字化时代的未来感扑面而至。不论是结绳记事的小数据时代,还是我们正在经历的大数据时代,计算的边界正在被无限拓宽,而数据的价值,再也难以被计算。

大数据 Apache 数据处理 流式计算 开源大数据 API 分布式架构 流计算 flink 实时计算

深度剖析阿里巴巴对Apache Flink的优化与改进

本文主要从两个层面深度剖析:阿里巴巴对Flink究竟做了哪些优化? 取之开源,用之开源 一、SQL层 为了能够真正做到用户根据自己的业务逻辑开发一套代码,能够同时运行在多种不同的场景,Flink首先需要给用户提供一个统一的API。

大数据 架构 SQL Apache 集群 数据结构 存储 流计算 flink 实时计算

Apache Flink SQL概览

本篇核心目标是让大家概要了解一个完整的Apache Flink SQL Job的组成部分,以及Apache Flink SQL所提供的核心算子的语义,最后会应用Tumble Window编写一个End-to-End的页面访问的统计示例。

大数据 SQL Apache source Group flink 实时计算

流计算框架 Flink 与 Storm 的性能对比

分布式实时计算框架 Flink 与 Storm 进行性能对比,为实时计算平台和业务提供数据参考。

大数据 storm 性能 线程 测试 流计算 flink 实时计算

一文了解 Apache Flink 核心技术

Apache Flink (以下简称Flink)是近年来越来越流行的一款开源大数据计算引擎,它同时支持了批处理和流处理,也能用来做一些基于事件的应用。使用官网的语句来介绍 Flink 就是 "Stateful Computations Over Streams"。

大数据 SQL Apache 数据流 API 分布式存储 流计算 flink 实时计算

下:比拼生态和未来,Spark和Flink哪家强?

前文对 Spark 和 Flink 的引擎做了对比。对用户来说引擎并不是考虑数据产品的唯一方面。开发和运维相关的工具和环境,技术支持,社区等等,对能不能在引擎上面做出东西来都很重要。这些构成了一个产品的生态。可以说引擎决定了功能和性能的极限,而生态能让这些能力真正发挥出作用。

深度学习 大数据 数据处理 集群 数据分析 spark 开发工具 流计算 flink 实时计算

上:Spark VS Flink – 下一代大数据计算引擎之争,谁主沉浮?

本文对 Spark 和 Flink 的技术与场景进行了全面分析与对比,且看下一代大数据计算引擎之争,谁主沉浮?

大数据 hadoop 性能 数据处理 数据流 spark Mapreduce 流计算 flink 实时计算

携程基于Flink的实时特征平台

本文来自7月26日在上海举行的 Flink Meetup 会议,分享来自于刘康,目前在大数据平台部从事模型生命周期相关平台开发,现在主要负责基于flink开发实时模型特征计算平台。熟悉分布式计算,在模型部署及运维方面有丰富实战经验和深入的理解,对模型的算法及训练有一定的了解。

大数据 架构 消息队列 spark flink 实时计算

阿里巴巴,果然开始拥有“预测未来“的能力了

“大数据实时计算引擎"你可能从未听说过这个引擎,甚至在此刻之前都不知道它的存在,但你很可能早已成为这个引擎服务的一员: 一年一度的双11,无数人涌进天猫,每个人都能用 0.1 秒搜索到自己理想的商品,在智能推荐中发现适合的宝贝,背后正是依赖这个引擎; 双11庆典现场,大屏上那个跳动的总成交量数字,只是背后所有数据的冰山一角。

大数据 算法 淘宝 流式计算 flink 实时计算

Flink在美团的实践与应用

Kafka作为最大的数据中转层,支撑了美团线上的大量业务,包括离线拉取,以及部分实时处理业务等。在数据缓存层之上,是一个引擎层,这一层的左侧是我们目前提供的实时计算引擎,包括Storm和Flink。

大数据 性能 日志 配置 集群 flink 实时计算

G7在实时计算的探索与实践

作者: 张皓 G7业务快览 G7主要通过在货车上的传感器感知车辆的轨迹、油耗、点熄火、载重、温度等数据,将车辆、司机、车队、货主连接到一起,优化货物运输的时效、安全、成本等痛点问题。 整个数据是通过车载的传感器设备采集,比如公司的Smart盒子,CTBox盒子,油感设备,温度探头等,将车辆数据上报到后端平台,在后端平台计算和处理,最后展示到用户面前。

大数据 架构 监控 集群 flink 实时计算

Flink状态管理和容错机制介绍

本文来自2018年8月11日在北京举行的 Flink Meetup会议,分享来自于施晓罡,目前在阿里大数据团队部从事Blink方面的研发,现在主要负责Blink状态管理和容错相关技术的研发

大数据 hbase list 数据结构 存储 流计算 flink 实时计算 流数据

Flink大数据计算的机遇与挑战

本文来自于王绍翾在2018年08月11日Flink China Meetup。

大数据 性能 SQL API 流计算 flink 实时计算

为什么说流处理即未来?

本文整理自 Flink 创始公司 Ververica 联合创始人兼 CTO - Stephan 在 Flink Forward China 2018 上的演讲《Stream Processing takes on Everything》。

大数据 性能 数据库 微服务 流计算 flink 实时计算

大数据同步利器: 表格存储全增量一体消费通道

本文会给大家详细介绍表格存储重磅推出的一项新功能--全增量一体数据通道。文章会为大家阐述数据通道的主要使用场景,表格存储数据通道的功能优势,并带大家快速入门如何使用数据通道来消费数据。本文会给大家详细介绍表格存储重磅推出的一项新功能--全增量一体数据通道。

大数据 监控 TableStore 数据迁移 ots 数据同步 表格存储 海量数据 Blink 实时计算 数据通道 大数据分析系统 TunnelService 海量数据存储

Flink入坑指南 第四章:SQL中的经典操作Group By+Agg

Flink入坑指南系列文章,从实际例子入手,一步步引导用户零基础入门实时计算/Flink,并成长为使用Flink的高阶用户。 简介 Group By + Agg这个最经典的SQL使用方式。Group By是SQL中最基础的分组操作,agg的全称是aggregation(聚合操作),是一类SQL算子的统称,Flink中最常用的Agg操作有COUNT/SUM/AVG等,详情参见Flink支持的聚合操作列表。

大数据 SQL aliyun BY Group 流计算 flink 实时计算

3
GO