1. 云栖社区>
  2. 全部标签>
  3. #sparkstreaming#
sparkstreaming

#sparkstreaming#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。 本文以LogHub为数据源,收集ECS上的日志数据,通过Spark Streaming SQL进行聚合后,将流计算结果数据实时写入Tablestore,展示一个简单的日志监控场景。

监控 TableStore SQL 日志 日志服务 SLS spark ots EMR 表格存储 流计算 sparkstreaming loghub StreamCompute 聚合

使用Spark SQL进行流式机器学习计算(上)

今天来和大家简单说一下如何使用Spark SQL进行流式数据的机器学习处理

大数据 算法 分布式系统与计算 SQL 测试 spark 流式计算 MLlib string sparkstreaming

[转载] Spark Streaming 设计原理

最近两年流式计算又开始逐渐火了起来,说到流式计算主要分两种:continuous-based 和 micro-batch。最近在使用基于 micro-batch 模式的 Spark Streaming,正好结合论文介绍一下。

分布式 集群 spark 流式计算 replication sparkstreaming Streaming

单车骑行流数据分析

本文实现了一个基于SparkStreaming 的流数据处理系统,使用骑行数据发送至Kafka作为数据源,使用SparkStreaming对流数据进行处理(无状态、有状态:window、updateByKey),并将其持久化至Mysql、可视化为图表

python 函数 模块 数据库 数据流 集群 数据统计 sparkstreaming 持久化 可视化 流数据 系统开发 换装攻略

1
GO