基于AWS的时序处理应用架构

简介: 当数据用来作为定期连续测量时,它被称为时间序列信息。通过AWS的独特定位解决了基于时间序列的信息处理带来了规模化挑战。 这种弹性是通过AutoScaling组进行采集处理,Amazon Elastic MapReduce定时作业的AWS数据管道,系统间数据编排的AWS数据管道,大规模数据分析的AmazonRedshift来实现的。

当数据用来作为定期连续测量时,它被称为时间序列信息。通过AWS的独特定位解决了基于时间序列的信息处理带来了规模化挑战。

 

这种弹性是通过AutoScaling组进行采集处理,Amazon Elastic MapReduce定时作业的AWS数据管道,系统间数据编排的AWS数据管道,大规模数据分析的AmazonRedshift来实现的。关键架构要素包括用于消息缓冲的SQS,它减少了频繁AWS数据管道调度,保持了整体解决方案的成本预测和控制。



1.  远程设备,如电表,移动客户端,广告网络客户端,工业仪表,卫星和环境测量工具感知着他们周围的世界,并通过HTTP(S)发送采样传感器数据作为信息进行处理。

 

2.  发送到Amazon Simple QueueService 队列的信息通过自扩展的AmazonEC2 进一步存储到 Amazon DynamoDB。 DynamoDB 中的表是一个基于时间且面向星期的表结构。

 

3.  如果存在一个一个监督控制和数据采集(SCADA)的系统,可以从Amazon DynamoDB 创建采样数据流来分别支持另外的云计算或其他的现有系统。

 

4.  通过一个定时的Amazon ElasticMapReduce作业来创建数据管道,可以同时计算密集的采样处理并输出采样结果。

 

5.  数据管道将结果存储到Amazon Redshift用于进一步的分析。

 

6.  数据管道将面向星期的历史采样数据表从AmazonDynamoDB 导出到Amazon Simple Storage Service (Amazon S3)。

 

7.  数据管道将结果导出为其他可接受的自定义格式。

 

 

8.  Amazon Redshift 作为选项来保留历史采样数据及计算结果。

 

9.  用内部或亚马逊合作伙伴的商业智能解决方案,AmazonRedshift可以支持其他的大规模分析。


目录
相关文章
|
12天前
|
机器学习/深度学习 API 语音技术
|
7天前
|
人工智能 Serverless 数据处理
利用阿里云函数计算实现 Serverless 架构的应用
阿里云函数计算是事件驱动的Serverless服务,免服务器管理,自动扩展资源。它降低了基础设施成本,提高了开发效率,支持Web应用、数据处理、AI和定时任务等多种场景。通过实例展示了如何用Python实现图片压缩应用,通过OSS触发函数自动执行。阿里云函数计算在云计算时代助力企业实现快速迭代和高效运营。
43 0
|
11天前
|
运维 监控 自动驾驶
构建可扩展的应用程序:Apollo与微服务架构的完美结合
构建可扩展的应用程序:Apollo与微服务架构的完美结合
32 10
|
12天前
|
机器学习/深度学习 PyTorch API
|
12天前
|
机器学习/深度学习 语音技术 算法框架/工具
|
13天前
|
运维 Cloud Native 持续交付
构建未来:云原生架构在现代企业中的应用与挑战
【4月更文挑战第10天】 随着数字化转型的不断深入,企业对信息技术基础设施的要求日益提高。云原生架构作为一种新兴的设计理念和技术集合,以其灵活性、可扩展性和容错性,正在成为推动企业技术革新的关键力量。本文将探讨云原生技术的核心组件、实施策略以及面临的主要挑战,并分析如何通过采纳云原生架构来优化业务流程和提升服务效率。
|
22天前
|
移动开发 前端开发 数据管理
构建高效Android应用:采用MVVM架构与LiveData的全面指南
在移动开发领域,构建一个既快速又可靠的应用对于开发者来说至关重要。随着Android Jetpack组件的推出,MVVM(Model-View-ViewModel)架构和LiveData已成为实现响应式、可测试且易于维护应用的首选解决方案。本文将深入探讨如何在Android应用中实施MVVM模式,以及如何利用LiveData来优化UI组件的数据更新流程,确保用户界面与业务逻辑之间的高度解耦和流畅交互。
18 4
|
3天前
|
敏捷开发 监控 数据管理
构建高效微服务架构的五大关键策略
【4月更文挑战第20天】在当今软件开发领域,微服务架构已经成为一种流行的设计模式,它允许开发团队以灵活、可扩展的方式构建应用程序。本文将探讨构建高效微服务架构的五大关键策略,包括服务划分、通信机制、数据管理、安全性考虑以及监控与日志。这些策略对于确保系统的可靠性、可维护性和性能至关重要。
|
15天前
|
API 数据库 开发者
构建高效可靠的微服务架构:后端开发的新范式
【4月更文挑战第8天】 随着现代软件开发的复杂性日益增加,传统的单体应用架构面临着可扩展性、维护性和敏捷性的挑战。为了解决这些问题,微服务架构应运而生,并迅速成为后端开发领域的一股清流。本文将深入探讨微服务架构的设计原则、实施策略及其带来的优势与挑战,为后端开发者提供一种全新视角,以实现更加灵活、高效和稳定的系统构建。
18 0
|
3天前
|
消息中间件 监控 持续交付
构建高效微服务架构:后端开发的进阶之路
【4月更文挑战第20天】 随着现代软件开发的复杂性日益增加,传统的单体应用已难以满足快速迭代和灵活部署的需求。微服务架构作为一种新兴的分布式系统设计方式,以其独立部署、易于扩展和维护的特点,成为解决这一问题的关键。本文将深入探讨微服务的核心概念、设计原则以及在后端开发实践中如何构建一个高效的微服务架构。我们将从服务划分、通信机制、数据一致性、服务发现与注册等方面入手,提供一系列实用的策略和建议,帮助开发者优化后端系统的性能和可维护性。