伯箫 + 关注
存储与数据库领域的学习者

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

发布时间:2019-08-05 12:42:07 浏览:4117 评论 :1

从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。 本文以LogHub为数据源,收集ECS上的日志数据,通过Spark Streaming SQL进行聚合后,将流计算结果数据实时写入Tablestore,展示一个简单的日志监控场景。

监控 TableStore SQL 日志 日志服务 SLS spark ots EMR 表格存储 流计算 sparkstreaming loghub StreamCompute 聚合

基于Tablestore实现海量运动轨迹数据存储

发布时间:2019-05-15 10:52:20 浏览:1230 评论 :0

前言 现在越来越多的人都开始关心自己的运动数据,比如每日的计步、跑步里程、骑行里程等。运动APP与运动类的穿戴设备借助传感器、地图、GPS定位等技术,收集好运动数据以后,通过与互联网社交功能结合,产生了一种新的运动模式。

TableStore ots 表格存储 轨迹 时序 Timestream 运动轨迹

基于TableStore的数据采集分析系统介绍

发布时间:2017-11-17 12:15:33 浏览:6148 评论 :0

摘要 在互联网高度发达的今天,ipad、手机等智能终端设备随处可见,运行在其中的APP、网站也非常多,如何采集终端数据进行分析,提升软件的品质非常重要,例如PV/UV统计、用户行为数据统计与分析等。虽然场景简单,但是数据量大,对系统的吞吐量、实时性、分析能力、查询能力都有较高的要求,搭建起来并不容易。

数据存储与数据库 移动开发与客户端 互联网产品及应用 大数据 HTTPS 浏览器 同步 aliyun 数据同步 高性能 数据采集 表格存储 html 存储 MaxCompute