与流式计算相关精彩内容-云栖社区-阿里云

Apache Flink Meetup · 北京站，可能有你最想听的内容！

作者: 巴蜀真人 6750人浏览

9 月 21日，Flink 社区邀请了来自小米、贝壳找房、intel 以及 Apache Flink PMC 相聚北京，解读 Flink 在大型企业应用实践、实时数仓建设、性能优化以及 Flink 1.9 重大新增功能特性。

python 大数据性能优化 Apache 数据处理流式计算 API 流计算推荐系统实时计算知识图谱 Apache_Flink

浅谈分布式计算的开发与实现(二)

作者: java填坑路 185人浏览

实时计算接上篇，离线计算是对已经入库的数据进行计算，在查询时对批量数据进行检索、磁盘读取展示。而实时计算是在数据产生时就对其进行计算，然后实时展示结果，一般是秒级。举个例子来说，如果有个大型网站，要实时统计用户的搜索内容，这样就能计算出热点新闻及突发事件了。

云栖社区编程语言分布式 redis Java核心技术 java storm 消息队列程序员流式计算分布式计算离线计算磁盘后端开发

8月28日社区直播【Spark Streaming SQL流式处理简介】

作者: 开源大数据EMR 412人浏览

本次直播将简要介绍EMR Spark Streaming SQL，主要包含Streaming SQL的语法和使用，最后做demo演示

云栖社区编程语言大数据 SQL 钉钉 spark 流式计算 aliyun e-mapreduce EMR demo 安全问道

8月28日社区直播【Spark Streaming SQL流式处理简介】

作者: 阿里云E-MapReduce团队 289人浏览

本次直播将简要介绍EMR Spark Streaming SQL，主要包含Streaming SQL的语法和使用，最后做demo演示

nginx 数据存储与数据库大数据 SQL 钉钉 spark 流式计算 aliyun e-mapreduce EMR demo 安全问道

Flink Exactly-Once 投递实现浅析

作者: 王知无 238人浏览

5万人关注的大数据成神之路，不来了解一下吗？ 5万人关注的大数据成神之路，真的不来了解一下吗？ 5万人关注的大数据成神之路，确定真的不来了解一下吗？随着近来越来越多的业务迁移到 Flink 上，对 Flink 作业的准确性要求也随之进一步提高，其中最为关键的是如何在不同业务场景下保证 exactly-once 的投递语义。

云栖社区分布式大数据实时系统流式计算分布式系统 file Commit 流计算 flink

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

作者: 阿里云E-MapReduce团队 428人浏览

从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能，支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。本文以LogHub为数据源，收集ECS上的日志数据，通过Spark Streaming SQL进行聚合后，将流计算结果数据实时写入Tablestore，展示一个简单的日志监控场景。

nginx 系统研发与运维移动开发与客户端大数据监控 SQL 日志集群 Image 控制台 spark 流式计算 string EMR 表格存储

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

作者: 开源大数据EMR 447人浏览

从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能，支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。本文以LogHub为数据源，收集ECS上的日志数据，通过Spark Streaming SQL进行聚合后，将流计算结果数据实时写入Tablestore，展示一个简单的日志监控场景。

nginx 数据存储与数据库移动开发与客户端大数据监控 SQL 日志集群 Image 控制台 spark 流式计算 string EMR 表格存储

blink+tablestore实现无限扩展性，高实时汇总计算及排行榜

作者: 游客bwqsny43ciydk 357人浏览

#问题背景最近开始了一个全新的ugc项目，要求对用户的点赞，评论，转发等等的数据进行统计按权重进行积分，并进行排序。要求排行榜的实时性在5分钟内，最好能进行全实时的计算,要求高度的准确性。实际工作中这样的场景是非常多的，主要是各种数据的实时汇总，比如用户购买总量，用户点赞总量，商品销售总量，不是要历史的数据而是要现在最新的总量数据，这个数据可能是1天的汇总，也可能是数年的汇总。另一方面

数据存储与数据库架构分布式系统与计算性能阿里技术协会数据库 Image 流式计算表格存储存储数据存储

使用EMR-Kafka Connect进行数据迁移

作者: 开源大数据EMR 881人浏览

本文介绍使用EMR Kafka Connect的REST API接口在Kafka集群间进行数据迁移，使用distributed模式。

云栖社区系统软件移动开发与客户端 Json Apache 数据库配置集群 Image 数据迁移同步流式计算 EMR 数据同步安全问道

Flink-Redis-Sink

作者: 王知无 186人浏览

简介流式计算中，我们经常有一些场景是消费Kafka数据，进行处理，然后存储到其他的数据库或者缓存或者重新发送回其他的消息队列中。本文讲述一个简单的Redis作为Sink的案例。后续，我们会补充完善，比如落入Hbase，Kafka，Mysql等。

大数据 redis 消息队列流式计算 string static Consumer class flink

【译】用SQL统一所有：一种有效的、语法惯用的流和表管理方法

作者: 开源大数据EMR 628人浏览

现在还没有一个统一的流式SQL语法标准，各家都在做自己的。本文在一些业界应用的基础上提出了一个统一SQL语法的建议。Spark同样存在这个问题，社区版本在流式SQL上迟迟没有动作。EMR Spark在今年上半年提供了自己设计版本的流式SQL支持，也会在后续的更新中吸收和支持这些优秀的设计建议。

云栖社区系统软件系统研发与运维网络与数据通信大数据 SQL Apache Image 流式计算表达式

使用Spark Streaming SQL基于时间窗口进行数据统计

作者: 开源大数据EMR 504人浏览

使用Spark Streaming SQL可以很方便的对事件数据中的时间字段进行处理，同时Spark Streaming SQL提供的时间窗口函数可以将事件时间按照一定的时间区间对数据进行统计操作。本文通过讲解一个统计用户在过去5秒钟内点击网页次数的案例，介绍如何使用Spark Streaming SQL对事件时间进行操作。

系统软件数据存储与数据库系统研发与运维大数据 SQL 日志 spark 流式计算 Create Group 数据统计

回顾 | 阿里云实时计算专场 · 北京站

作者: Ververica 982人浏览

6 月 30 日，阿里云实时计算专场北京站，由来自格灵深瞳的大数据总监与阿里巴巴产品专家、技术专家一起与大家探讨实时计算的应用实践与场景化解决方案。本文为沙龙现场回顾，含现场PPT下载链接。

大数据架构 SQL 数据处理高可用流式计算解决方案流计算人脸识别沙龙实时计算 Apache_Flink

使用Spark SQL进行流式机器学习计算（上）

作者: 鱼跟猫 944人浏览

今天来和大家简单说一下如何使用Spark SQL进行流式数据的机器学习处理

大数据算法分布式系统与计算 SQL 测试 spark 流式计算 MLlib string sparkstreaming

DataSimba系列之流式计算

作者: startdtsms 431人浏览

市场变化越来越快，企业对于数据及时性的需求，也越来越大，另一方面，当下数据容量呈几何倍暴增，数据的价值在其产生之后，也将随着时间的流逝，逐渐降低。因此，我们最好在事件发生之后，迅速对其进行有效处理，实时，快速地处理新产生的数据，帮助企业快速地进行异常管理和有效决策，而不是待数据存储在一起之后，再进行批量处理。

分布式大数据架构监控 hbase 数据库 spark 流式计算离线计算数据采集数据存储流计算海量数据多维分析数据中台