双十一顺利进行背后的技术 ----RDS 双十一技术揭秘

  1. 云栖社区>
  2. 博客列表>
  3. 正文

双十一顺利进行背后的技术 ----RDS 双十一技术揭秘

权一 2018-11-09 17:54:36 浏览209 评论1

摘要: 双十一就要来了,全世界都为其疯狂,但是在双十一抢购中经常会出现几万人抢一个红包或者很多人共同购买一个商品的情况,这就引发了一个数据库比较担心的场景----高并发。作为历届双十一重要保障之一的云数据库RDS部门,从参数优化、链路访问、弹性扩容、架构设计等方面应对高并发场景(如秒杀、百万人抢单等),保障双十一顺利进行。

双十一就要来了,全世界都为其疯狂,但是在双十一抢购中经常会出现几万人抢一个红包或者很多人共同购买一个商品的情况,这就引发了一个数据库比较担心的场景----高并发。作为历届双十一重要保障之一的云数据库RDS部门,从参数优化、链路访问、弹性扩容、架构设计等方面应对高并发场景(如秒杀、百万人抢单等),保障双十一顺利进行。那么背后的技术是如何实现的呢?本文,将带您展开双十一阿里云RDS数据库背后技术的小秘密。

参数优化
在处理“高并发”场景的时候,一些特定的数据库参数就成为能否保障数据快速响应和平顺处理“高并发”问题,就成了关键,如下列出了几个特别重要的参数:
•loose_rds_max_tmp_disk_space:控制MySQL能够使用的临时文件的大小;
•loose_rds_threads_running_high_watermark:控制MySQL并发的查询数目,常用于秒杀
•loose_tokudb_buffer_pool_ratio:控制TokuDB引擎能够使用的buffer内存大小
•loose_max_statement_time:控制查询在MySQL的最长执行时间

举例说明,秒杀场景下的参数设置与影响:
loose_rds_threads_running_high_watermark
image
是“秒杀”场景开始的时候,可以看到连接数成指数级变化,瞬间增加了10倍
image

调整参数之前,可以看到RUN数量非常高,会导致数据库报警
image

调整参数之后,update数值与run数值承更好的方向变化

链路访问
在链路访问方面,我们提供更高安全性的数据库代理访问模式,用户可以根据需要随时开启或关闭。数据库代理的规格大小由RDS系统自动管理,可以在保证租户间资源隔离的前提下,根据负载大小自适应调节。数据库代理对应用透明无感知,也无需人工干预,大大降低了运维成本。
如下图所示
image

数据库代理位于应用程序(Client)和数据库引擎(Database Engine)中间,由RDS系统自动进行维护,所有的数据库请求(Request)和响应(Response)均从代理层经过和处理。

目前,数据库代理支持如下功能:数据库代理支持以下功能:
• 透明切换:RDS实例在发生故障、规格升级或降级时,数据库代理可以使实例切换更加柔和,降低对应用的影响。
• 读写分离:提供透明的读写分离功能,应用层无需修改代码,查询分发到RDS只读实例,降低主库的负载。
image

• 短连接优化:突发高并发的短连接(常见于PHP应用)在代理层进行缓冲,减轻对DB层的冲击,降低RDS的CPU负载和CPS(每秒新建连接数),保障数据库运行稳定。
• 防暴力破解:保护RDS实例账号密码,规避账号密码被暴力破解。

弹性扩容
在扩容升级的过程中,主要分为两种情况:本机升级和跨机升级
image
本机升级
image
跨机升级,还要做备份数据和日志的迁移工作

扩容升级的常见问题

  1. 为什么有时候升级需要很长时间?
    可能发生了跨机迁移,迁移时间受限于数据库大小以及系统压力
  2. 可用区迁移,数据库版本升级为什么耗时较长?
    这两者迁移都会发生跨机迁移
  3. 空间升级为什么非常快?
    空间升级不用重启迁移数据库
  4. 选择弹性扩容的时间
    建议在业务低峰期,最近一次备份任务完成后进行升级

架构设计
为了应对日渐增长的双十一购买数据量和仓储数据量,RDS也对各个支持的数据库进行了新的架构设计。
如下表,引擎选择方面:ApsaraDB for RDS,当前支持4款关系型引擎,提供容灾、备份、恢复、监控等方面的全套解决方案

image
RDS自带的读写分离,让用户使用更方便:

另外,安全问题也一直是商家和用户最关心的问题,在疯狂的‘剁手’中,您一定不想您的商品信息或者购买信息有安全披露,对于这个问题,RDS在安全方面也做了多重保护和设计:

image

除了以上几点,RDS团队还对数据库的性能等进行了重新的优化,让商家和购买者在抢购中完全不用担心数据库的性能和安全问题,无忧无虑的‘剁手’,尽情享受双十一盛会!

【云栖快讯】你想见的Java技术专家都在这了,向大佬提问,有问题必答  详情请点击
权一
文章1篇 | 关注0
关注
RDS是一种稳定可靠、可弹性伸缩的在线数据库服务。支持MySQL、SQL Server、Po... 查看详情
MySQL 是全球最受欢迎的开源数据库,阿里云MySQL版 通过深度的内核优化和独享实例提供... 查看详情
提供海量、安全和高可靠的云存储服务。RESTful API的平台无关性,容量和处理能力的弹性... 查看详情
为您提供简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效... 查看详情
阿里云总监课正式启航

阿里云总监课正式启航