1. 云栖社区>
  2. 全部标签>
  3. #实时计算#
实时计算

#实时计算#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

上:Spark VS Flink – 下一代大数据计算引擎之争,谁主沉浮?

> **导读**: 做大数据绝对躲不过的一个热门话题就是实时流计算,而提到实时流计算,就不得不提 Spark 和 Flink。Spark 从 2014 年左右开始迅速流行,刚推出时除了在某些场景比 Hadoop MapReduce 带来几十到上百倍的性能提升外,还提出了用一个统一的引擎支持批处理、流处理、交互式查询、机器学习等常见的数据处理场景。凭借高性能和全面的场景支持,Spark 早已成为

大数据 hadoop 性能 阿里技术协会 数据处理 数据流 spark API Mapreduce 流计算 flink 实时计算

上:Spark VS Flink – 下一代大数据计算引擎之争,谁主沉浮?

> **导读**: 做大数据绝对躲不过的一个热门话题就是实时流计算,而提到实时流计算,就不得不提 Spark 和 Flink。Spark 从 2014 年左右开始迅速流行,刚推出时除了在某些场景比 Hadoop MapReduce 带来几十到上百倍的性能提升外,还提出了用一个统一的引擎支持批处理、流处理、交互式查询、机器学习等常见的数据处理场景。凭借高性能和全面的场景支持,Spark 早已成为

大数据 hadoop 性能 阿里技术协会 数据处理 数据流 spark API Mapreduce 流计算 flink 实时计算

携程基于Flink的实时特征平台

> 本文来自7月26日在上海举行的 Flink Meetup 会议,分享来自于刘康,目前在大数据平台部从事模型生命周期相关平台开发,现在主要负责基于flink开发实时模型特征计算平台。熟悉分布式计算,在模型部署及运维方面有丰富实战经验和深入的理解,对模型的算法及训练有一定的了解。 本文主要内容如下: - 在公司实时特征开发的现状基础上,说明实时特征平台的开发背景、目标以及现状

大数据 架构 监控 消息队列 阿里技术协会 配置 spark 流计算 flink 实时计算

大数据凉了?No,流式计算浪潮才刚刚开始!

翻译|巴真 编辑|Debra AI 前线导读:本文重点讨论了大数据系统发展的历史轨迹,行文轻松活泼,内容通俗易懂,是一篇茶余饭后用来作为大数据谈资的不严肃说明文。本文翻译自《Streaming System》最后一章《The Evolution of Large-Scale Data Processing》,在探讨流式系统方面本书是市面上难得一见的深度书籍,非常值得学习。更多干货内容请

大数据 storm hadoop 阿里技术协会 数据处理 spark 流式计算 google Mapreduce 流计算 flink 实时计算

下:比拼生态和未来,Spark和Flink哪家强?

![](0.jpg) > 前文对 Spark 和 Flink 的引擎做了对比。对用户来说引擎并不是考虑数据产品的唯一方面。开发和运维相关的工具和环境,技术支持,社区等等,对能不能在引擎上面做出东西来都很重要。这些构成了一个产品的生态。可以说引擎决定了功能和性能的极限,而生态能让这些能力真正发挥出作用。 ## 概   况 ![](1.png) Spark 是最活跃的 A

深度学习 大数据 阿里技术协会 数据处理 集群 数据分析 spark API 开发工具 流计算 flink 实时计算

G7在实时计算的探索与实践

作者: 张皓 ### G7业务快览 G7主要通过在货车上的传感器感知车辆的轨迹、油耗、点熄火、载重、温度等数据,将车辆、司机、车队、货主连接到一起,优化货物运输的时效、安全、成本等痛点问题。 整个数据是通过车载的传感器设备采集,比如公司的Smart盒子,CTBox盒子,油感设备,温度探头等,将车辆数据上报到后端平台,在后端平台计算和处理,最后展示到用户面前。 ![01.jp

大数据 架构 监控 阿里技术协会 集群 流计算 flink 实时计算

扩展FlinkSQL实现流与维表的join

基于FlinkSQL实现流与维表的join

数据存储 flink 实时计算

阿里云大数据利器之-使用sql实现流计算做实时展现业务( flume故障转移版 )

实时业务处理的需求越来越多,也有各种处理方案,比如storm,spark等都可以。那以数据流的方向可以总结成数据源-数据搜集-缓存队列-实时处理计算-数据展现。本文就用阿里云产品简单实现了一个实时处理的方案。

云栖社区 大数据 SQL 配置 agent 控制台 aliyun 脚本 数据采集 流计算 实时计算 MaxCompute最佳实践 实时报表 实时展现

一小时完成基于阿里云流计算的实时计算系统搭建

目前,实时计算越来越被广泛应用,比如 实时ETL、实时报表、实时大屏展示等一些监控预警和在线系统的场景。企业对计算速度和消息更新速度要求越来越高。开源框架中,Storm,Sparks,Flink等在企业生产中大量投入使用,但是开发相对复杂,需要对接各种框架api、sdk等,另外人力成本相对较高。

架构 监控 mysql SQL 阿里技术协会 配置 Image logstash aliyun html varchar 流计算 实时计算

Flink SQL 功能解密系列 —— 流计算“撤回(Retraction)”案例分析

通俗讲retract就是传统数据里面的更新操作,也就是说retract是流式计算场景下对数据更新的处理方式。

SQL Create varchar 流计算 Blink flink 实时计算

分布式Snapshot和Flink Checkpointing简介

最近在学习Flink的Fault Tolerance,了解到Flink在Chandy Lamport Algorithm的基础上扩展实现了一套分布式Checkpointing机制,这个机制在论文"Lightweight Asynchronous Snapshots for Distributed Dataflows"中进行了详尽的描述。

分布式 算法 Algorithm 流式计算 分布式系统 input Blink 实时计算

【对话科技】Flink技术介绍和新功能展望

2017年6月22号,由“京城学堂”和阿里巴巴集团技术发展部主办的“对话科技”系列讲座邀请到了Apache Flink项目的PMC成员,来自德国DataArtisans公司的Till Rohrmann,在北京阿里中心为关注实时计算技术的阿里同学做了一场关于Apache Flink技术发展的精彩分享。

Apache 数据流 stream 存储 流计算 Blink 实时计算

Flink SQL 功能解密系列 —— 解决热点问题的大杀器MiniBatch

在Blink的流式任务中,State相关的操作通常都会成为整个任务的性能瓶颈。实时计算部-查询和优化团队开发了MiniBatch功能,大幅降低了State操作的开销,在今年的双11中,几乎所有适用的任务都启用了MiniBatch功能。

大数据 SQL 流式计算 Blink 实时计算 StreamCompute

权威详解 | 阿里新一代实时计算引擎 Blink,每秒支持数十亿次计算

阿里巴巴需要研发世界级一流的流式计算引擎,实时处理海量数据,提供在线统计、学习和预测能力,不仅支持阿里巴巴自己的核心电商场景,同时也能通过阿里云向外部中小企业提供流式计算服务,输出实时计算能力,这就是我今天要分享的最新一代阿里巴巴实时计算引擎Blink。

大数据 架构 算法 数据处理 电商 淘宝 流式计算 流计算 Blink flink 实时计算 下一代数据智能引擎

道旅鬼谷子分享:如何打好业务监控的组合拳

公司由于业务迅速扩展,需要针对业务方面进行定制监控。通过选型最终采用了 ARMS 方案。以下篇幅简单介绍了方案的大致概要以及最终效果,以供读者参考。一套组合拳,在数据分析、实时计算、报警、API、持久化存储等方面给我们节省了不少时间,也提供了更多的可能性。所以,最终我们选择了 ARMS。

架构 监控 HTTPS 日志 云栖大会 数据分析 流计算 实时监控 MaxCompute 业务监控 ARMS 实时计算 业务实时监控 行业监控 业务分析

阿里云大数据利器之-使用flume+sql实现流计算做实时展现业务(归档Maxcompute)

实时业务处理的需求越来越多,也有各种处理方案,比如storm,spark等都可以。那以数据流的方向可以总结成数据源-数据搜集-缓存队列-实时处理计算-数据展现。本文就用阿里云产品简单实现了一个实时处理的方案。

云栖社区 大数据 阿里云 HTTPS SQL 控制台 脚本 流计算 实时处理 实时计算 实时报表 实时大屏

分析型数据库+数据传输,构建企业级实时数仓

传统的离线数据仓库,将业务数据集中进行存储后,以固定的计算逻辑定时进行ETL 和其它建模后产出报表等应用。离线数据仓库一般采用每日或每几个小时进行一次计算的方式,计算和数据的实时性均较差,业务人员无法根据自己的即时性需要获取几分钟之前的实时数据。

数据存储与数据库 大数据 架构 实时系统 数据可视化 阿里云 HTTPS 模块 数据库 高并发 数据仓库 分析型数据库 数据传输 实时计算 数仓

3
GO