1. 云栖社区>
  2. 全部标签>
  3. #sparkstreaming#
sparkstreaming

#sparkstreaming#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

日志服务(SLS)集成 Spark 流计算实战

日志服务集成 Spark 流式计算:使用Spark Streaming和Structured Streaming对采集到日志服务中的数据进行消费,计算并将结果写回到日志服务。

大数据 日志 日志服务 SLS LOG sdk spark aliyun 流计算 sparkstreaming 日志采集 日志处理 StructuredStreaming aliyun-log

通过EMR Spark Streaming实时读取Tablestore数据

本文将介绍如何在E-MapReduce中实时流式的处理Tablestore中的数据。 场景设计 随着互联网的发展,企业中积累的数据越来越多,数据的背后隐藏着巨大的价值,在双十一这样的节日中,电子商务企业都会在大屏幕上实时显示订单总量,由于订单总量巨大,不可能每隔一秒就到数据库中进行一次SQL统计,此时就需要用到流计算,而传统的方法都是需要借助Kafka消息队列来做流式计算,数据订单需要写入数据库与Kafka中,Spark Streaming 消费来自Kafka中的订单信息。

TableStore hadoop 集群 主机 spark aliyun e-mapreduce string EMR type sparkstreaming datasource 通道服务

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。 本文以LogHub为数据源,收集ECS上的日志数据,通过Spark Streaming SQL进行聚合后,将流计算结果数据实时写入Tablestore,展示一个简单的日志监控场景。

监控 TableStore SQL 日志 日志服务 SLS spark ots EMR 表格存储 流计算 sparkstreaming loghub StreamCompute 聚合

[转载] Spark Streaming 设计原理

最近两年流式计算又开始逐渐火了起来,说到流式计算主要分两种:continuous-based 和 micro-batch。最近在使用基于 micro-batch 模式的 Spark Streaming,正好结合论文介绍一下。

分布式 集群 spark 流式计算 replication sparkstreaming Streaming

单车骑行流数据分析

本文实现了一个基于SparkStreaming 的流数据处理系统,使用骑行数据发送至Kafka作为数据源,使用SparkStreaming对流数据进行处理(无状态、有状态:window、updateByKey),并将其持久化至Mysql、可视化为图表

python 函数 模块 数据库 数据流 集群 数据统计 sparkstreaming 持久化 可视化 流数据 系统开发 换装攻略

1
GO