1. 云栖社区>
  2. 全部标签>
  3. #StreamCompute#
StreamCompute

#StreamCompute#

已有1人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。 本文以LogHub为数据源,收集ECS上的日志数据,通过Spark Streaming SQL进行聚合后,将流计算结果数据实时写入Tablestore,展示一个简单的日志监控场景。

监控 TableStore SQL 日志 日志服务 SLS spark ots EMR 表格存储 流计算 sparkstreaming loghub StreamCompute 聚合

Flink SQL 功能解密系列 —— 解决热点问题的大杀器MiniBatch

在Blink的流式任务中,State相关的操作通常都会成为整个任务的性能瓶颈。实时计算部-查询和优化团队开发了MiniBatch功能,大幅降低了State操作的开销,在今年的双11中,几乎所有适用的任务都启用了MiniBatch功能。

大数据 SQL 流式计算 Blink 实时计算 StreamCompute

大数据上云那些事儿:(一)上云工具的选择

阿里云•数加上如果要实现大数据上云,可选的工具有以下几种(如下图所示),主要分为批量加载工具和实时采集工具两大类。工具这么多,那么我应该选择哪一个呢? 首先第一就是确定您的业务场景对实时性的要求。 a) 如果是实时性要求不高,则采用批量加载类工具,定时完成批量数据加载即可。

大数据 阿里云 数加 logstash 同步 数据同步 MaxCompute DI datahub datax StreamCompute 数据上云 上云工具

大数据workshop:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据处理:通过StreamSQL分析用户行为》篇

本手册为云栖大会Workshop之《在线用户行为分析:基于流式计算的数据处理及应用》场的《流数据处理:通过StreamSQL分析用户行为》篇所需。主要帮助现场学员熟悉并掌握阿里云流计算StreamCompute的操作和使用。

大数据 云栖大会 workshop 流式计算 AnalyticDB StreamCompute

流计算精品翻译: The Dataflow Model

我们提出了Dataflow模型,并详细地阐述了它的语义,设计的核心原则,以及在实践开发过程中对模型的检验。

数据处理 google stream 流计算 StreamCompute DataFlow

1
GO