基于AWS云服务的批处理系统架构

简介: 在AWS执行批处理任务时,允许按需配置多部分作业处理的应用架构,可用于对异构的系统的瞬时或延迟部署,并可扩展为“网格”型工作节点,通过并联的大批量任务处理实现快速收敛。

在AWS执行批处理任务时,允许按需配置多部分作业处理的应用架构,可用于对异构的系统的瞬时或延迟部署,并可扩展为“网格”型工作节点,通过并联的大批量任务处理实现快速收敛。面向批处理应用程序现在可以有很多的地方利用这种风格按需加工,包括理赔处理,大规模改造,媒体转码和多部分的数据处理工作。

 

批处理架构通常是高可变使用模式的代名词,即在一段低使用率后有明显的使用峰值(例如,月末的处理)。构建一个批处理架构有很多的方法。本文给出了一个基本的批处理架构,用来支持作业调度,作业状态检查,上传原始数据,输出作业结果,网格管理,以及报告作业性能的数据。




1. 作业管理器部署在EC2 实例上,用户通过Elastic IP与之交互。作业管理器组件控制着进程的接收,调度,启动,管理以及完成批处理作业, 同时也可以访问最终的结果,作业和worker状态,以及作业的进展信息。

2.  原始的作业数据被上传到一个高可用的永久存储器中,即S3.

3.  根据用户的行为,作业管理器将单独的作业任务插入到SQS中。

4.  Worker节点是使用AutoScaling组服务的 EC2 实例。 这个组是一个保证了worker 节点健康和可扩展的容器。Worker 节点自动地从输入队列中提取作业部分,同时执行批处理步骤列表中的单独任务。

5.  worker 节点产生的中间数据存储在 Amazon S3中。

6.  作业进展信息和统计信息存储在分析存储区。分析存储区既可以用AmazonSimpleDBRDS 实例.

7.  作为可选项, 已完成的任务可以插入到AmazonSQS 队列中,用于链式结构的再次处理节点。


目录
相关文章
|
2月前
|
编译器 调度 数据库
DP读书:鲲鹏处理器 架构与编程(十)鲲鹏软件生态与云服务
DP读书:鲲鹏处理器 架构与编程(十)鲲鹏软件生态与云服务
52 0
|
4月前
|
JSON 运维 监控
云端部署:使用AWS Lambda与公司流量监控软件实现无服务器架构
在当今数字化时代,跨平台移动应用的开发已经成为企业推广业务的一项关键工作。为了更好地监控和分析应用程序的性能,公司流量监控软件的整合变得至关重要。本文将介绍如何使用AWS Lambda和公司流量监控软件,构建一个高效的无服务器架构,实现对跨平台移动应用的流量监控。
236 0
|
11月前
|
NoSQL 网络协议 安全
Linux系统:第十二章:AWS服务器X86架构安装配置Mysql与MongoDB
Linux系统:第十二章:AWS服务器X86架构安装配置Mysql与MongoDB
210 0
|
存储 JSON 运维
aws编写基础架构
aws编写基础架构
123 0
|
NoSQL 网络协议 安全
Linux系统:第十二章:AWS服务器X86架构安装配置Mysql与MongoDB
Linux系统:第十二章:AWS服务器X86架构安装配置Mysql与MongoDB
190 0
|
Java 中间件 Devops
工程师们不断推动下的云服务架构
工程师们不断推动下的云服务架构
工程师们不断推动下的云服务架构
|
运维 供应链 安全
企业云管理服务架构师(CSE)系列之从销售视角看等级保护的云服务过程的意义
记一次给企业客户做阿里云等保服务的咨询、交付的心得总结,希望对大家有帮助
339 0
企业云管理服务架构师(CSE)系列之从销售视角看等级保护的云服务过程的意义
|
SQL 架构师 安全
用友技术中台资深架构师方亚利:用友云服务数据库选型与最佳实践
本篇内容分享了用友云服务数据库选型与最佳实践。
471 0
用友技术中台资深架构师方亚利:用友云服务数据库选型与最佳实践
|
存储 数据采集 安全
在AWS上的架构部署与设计
本次分享主要介绍在 AWS 平台上构建 IT 基础设施的基础知识, 您将通过了解各项 AWS 服务及其如何融入基于云的解决方案来了解如何优化 AWS 云。涵盖最佳实践和设计模式,以帮助您在 AWS 云上构建最佳的 IT 解决方案。
在AWS上的架构部署与设计
|
XML 存储 安全