OceanBase 2.0让百万支付不是梦?

简介: 从平台到架构,再到实现,一起来探索蚂蚁双11这场神秘的技术之旅吧!

小蚂蚁说:

你们都很关心的 “OB双11大促实战分享” 专题来啦!本系列将为你系统性的介绍OceanBase支撑蚂蚁双11背后的技术原理和实战分享。从平台到架构,再到实现,一起来探索蚂蚁双11这场神秘的技术之旅吧!

72e557c08463a0fac1bc095e25b5c3fbfd4883c0

背景

伴随着蚂蚁业务的蓬勃发展,特别是每年双11大促不断创造新的高峰, 交易支付核心链路提出了未来实现百万笔支付/秒的能力 。为了实现这个宏伟目标,特别是提高数据库层面分布式扩展能力,如原生sharding/分布式事务优化,OceanBase 2.0分布式数据库应运而生。

百万支付

传统数据库扩容方案,主要是依赖分库分表拆分进行水平扩容,蚂蚁数据库初期也是同样思路,通过LDC单元化改造,核心表按用户UID维度拆分成百库百表。

但是随着业务发展,特别是2017年的双11大促,峰值需求已经远远超过单库单机的最大容量。针对这个问题,我们使用弹性架构,即在大促前,新增两套弹性数据库,多套库共同支持大促峰值。弹性架构虽然解决了大促容量需求,但是也存在一些缺陷,业务在数据路由、后期维护及数据配套设施都非常复杂繁琐。有没有更优雅的分布式数据库解决方案,即只使用一个库,就可以支持百万甚至更高的支付峰值,OceanBase 2.0分区提供了完美的解决方案。

d9f1a5007e8e27daba0cd100ff202948f470e7f7

OceanBase 2.0整体架构

原理分析

OceanBase 2.0分区方案思路和传统的分库分表拆分一样。我们在交易支付核心库上,在原有百库百表的基础上继续按用户UID进行更深层次拆分,每个分表再拆分成多个partition,应用端只看到一张表,在用户无感知的前提下把数据拆分到无限多的机器上,突破单机性能瓶颈,自动负载均衡,从而实现百万支付的能力。

同时为了极致性能,OceanBase 2.0提供了partition group功能,将业务使用的多张逻辑表(table_1、table_2、... table_n),按共同的partition聚合在同一台服务器上面,从而避免了分布式事务带来的额外开销。

OceanBase 2.0分区方案

a59caf9324ce177e98484762689bc5024662bc52

关键点:

  • APP端请求SQL,带上包含分区的字段—UID信息(如payment_id列)。
  • SQL如果没有分区信息,则在OBServer端并行计算优化。
  • OBClient负责分区计算及路由,确保第一跳准确定位到对应分区所在服务器,避免远程执行。
  • OBServer端基于生成列partition_id进行内部分区,不侵入业务。
  • OBServer端约束描述多维度分区,实现分区裁剪功能。

优点:

  • 业务友好:不改变SQL语义,应用代码不感知分区信息。
  • 架构通用:约束功能,实现分区裁剪;OBServer提供兜底访问能力。
  • 高性能低成本:使用低配置服务器,自动负载均衡,资源利用率高。

OceanBase 2.0性能优化

  • 分布式事务消除:partition group方式,事务涉及所有表的partition按照分区键存储至同一物理机。
  • 两阶段提交协议优化:结合事务与日志,事务prepare成功后内存不用持久保存状态,按需从日志中查询;commit状态持久化转换成后台批量完成。
  • Commit异步化:异步化后Worker不等待继续执行队列中下一个请求,日志持久化成功后会异步回调。
  • 内存分配器优化:组织了两层映射关系,既要提升性能又要支持大量分区。
  • 存储优化:数据编码技术实现高压缩。

优化结果:

整体性能OceanBase 2.0版本较OceanBase 1.4版本性能提升50%,存储空间节省30%。

总结

2018天猫双11全球狂欢节成交额超过2135亿,OceanBase 2.0成功经受住了考验,全面支撑了支付宝核心链路 ,平稳抗住0:00:00时的峰值压力,夯实三年战略“百万支付”的底盘能力。

OceanBase 2.0还有很多重要特性,比如分布式全局索引、分布式全局一致性快照、分布式存储过程、索引实时生效、Flashback闪回功能等,这些新功能将强有力支持企业不同业务场景下的持续创新。

加入我们

【数据库智能化开发】

岗位描述:

1、负责蚂蚁金服数据库智能运维平台应用架构设计和实施落地,使系统体系化并具有前瞻性,能快速发现异常和风险隐患,自动识别原因并修复故障源/风险点,实现self-healing、self-scaling、self-tuning的自治数据库目标;

2、负责构建数据库统一技术风险、业务容量和稳定性的数据模型,以数据为支撑驱动诊断、容量、高可用、业务最佳实践等核心问题的数据库智能运维发展;

3、独立完成大型项目的系统分析设计,并负责核心模块研发,完成系统Code Review的任务,提供相关性能以及安全的建议。

【数据库平台前端开发】

岗位描述:

负责蚂蚁金服数据库DevOps平台产品的前端研发,通过专业的前端技术能力为整套数据库产品提供优秀的前端解决方案。

【数据库平台后端开发】

岗位描述:

1、负责蚂蚁金服数据库基础平台、容器化、高可用体系等领域的平台研发;

2、通过平台化思路,持续优化系统维护工作效率,把控技术风险,用工程的思路解决遇到的问题;

3、负责蚂蚁金服数据库智能平台应用架构设计和系统实施,使系统体系化并具有前瞻性,能快速发现业务风险和及时管控;独立完成大型项目的系统分析设计,并负责核心模块研发;负责完成系统Code Review的任务,确保相关代码的有效性和正确性,并能够通过Code Review提供相关性能以及安全的建议。

【数据库SRE】

岗位描述:

1、负责数据库高可用平台体系、基础设施的开发和建设,追求100%的服务持续可用、秒级故障恢复能力;

2、负责数据库成本优化,通过新技术、新产品、新方案全方位地优化系统性能;

3、负责数据库相关平台和工具产品的建设,持续改进业务研发和系统维护效率,用工程的思路解决遇到的问题;

4、负责数据库架构设计,基于高可用、高性能、防资损等视角,与业务团队一起进行数据架构设计;

5、负责公司重大业务活动(如双11/双12)数据库保障,致力于让用户感觉丝般顺滑;

6、负责数据库新技术的探索及落地,如存储计算分离、数据库容器化等。

可直接发送简历到 qijie.tianqj@alibaba-inc.com,我们等的就是你!

蚂蚁金服ATEC城市峰会·上海

2019年1月4日,一场金融科技的前沿探索之旅——蚂蚁金服ATEC科技大会即将起航,你准备好了吗?小蚂蚁为大家准备了满满了攻略福利,等你来拿!了解蚂蚁金服科技开放,了解蚂蚁金服ATEC科技大会更多信息,请搜索蚂蚁金融科技官网(tech.antfin.com)

ATEC科技大会:

蚂蚁金服ATEC(Ant Technology Exploration Conference)科技大会是蚂蚁金服在中国举办的最大的技术盛会,旨在向遍布全球的合作伙伴与技术专业人群分享新技术的发展趋势与落地实践,通过对先进的前沿技术探索与讨论,为世界带来平等的机会。ATEC大会一直在路上。过去一年,蚂蚁金服ATEC科技大会走过杭州、硅谷、新加坡、伦敦等全球金融科技中心城市,之后将会造访国内各个金融科技中心城市,与当地受众分享蚂蚁金服对金融科技最前沿的洞察。

47d43e2dffbb916708ff788537c61c868bb1a443

ATEC科技大会报名方式 & 福利:

本次大会门票采用审核制。嘉宾填写个人信息进行报名,报名后3天之内收到报名审核成功的短信,即为报名成功。大会报名截止日期为2018年12月31日24时,额满即止。

小蚂蚁还为大家准备了本账号读者的专属福利邀请码: SF2B3A 

还等什么,赶紧点击下方报名链接,小蚂蚁期待你的到来~~

ATEC报名链接:

https://tech.antfin.com/articles/activity/atecshanghai

相关文章
|
8月前
|
关系型数据库 分布式数据库 数据库
沉浸式学习PostgreSQL|PolarDB 2: 电商高并发秒杀业务、跨境电商高并发队列消费业务
业务场景介绍: 高并发秒杀业务 秒杀业务在电商中最为常见, 可以抽象成热点记录(行)的高并发更新. 而通常在数据库中最细粒度的锁是行锁, 所以热门商品将会被大量会话涌入, 出现锁等待, 甚至把数据库的会话占满, 导致其他请求无法获得连接产生业务故障. 业务场景介绍: 高并发队列消费业务 在跨境电商业务中可能涉及这样的场景, 由于有上下游产业链的存在, 1、用户下单后, 上下游厂商会在自己系统中生成一笔订单记录并反馈给对方, 2、在收到反馈订单后, 本地会先缓存反馈的订单记录队列, 3、然后后台再从缓存取出订单并进行处理.
321 1
|
11月前
|
存储 弹性计算 Cloud Native
《Serverless数据库技术研究报告》——四、 总结和展望——(一)PolarDB、AnalyticDB支撑双十一阿里集团电商业务(下)
《Serverless数据库技术研究报告》——四、 总结和展望——(一)PolarDB、AnalyticDB支撑双十一阿里集团电商业务(下)
449 0
|
11月前
|
存储 自然语言处理 Cloud Native
《Serverless数据库技术研究报告》——四、 总结和展望——(一)PolarDB、AnalyticDB支撑双十一阿里集团电商业务(上)
《Serverless数据库技术研究报告》——四、 总结和展望——(一)PolarDB、AnalyticDB支撑双十一阿里集团电商业务(上)
455 0
|
存储 运维 负载均衡
邓荣伟:稳定支撑每秒百万笔支付请求,支付宝数据库架构的过去、现在与未来
8 月 10 日,2022 OceanBase 年度发布会在京沪深三地同时召开,支付宝资深数据库专家邓荣伟在会上分享了《从“小”到“大”,支付宝分布式升级之路》的主题演讲,为我们带来了支付宝的架构演进以及上线 OceanBase 的故事。
354 0
邓荣伟:稳定支撑每秒百万笔支付请求,支付宝数据库架构的过去、现在与未来
|
Cloud Native NoSQL 关系型数据库
阿里云自研数据库支撑双11,助力电商客户订单峰值突破每秒20万笔
阿里云自研数据库产品家族全面支撑双11活动,帮助客户从容应对流量高峰。
467 0
阿里云自研数据库支撑双11,助力电商客户订单峰值突破每秒20万笔
|
存储 运维 容灾
数据处理能力提升200%!蚂蚁自研数据库OceanBase正式应用于基金业务系统
近日,上投摩根互联网货基理财项目基于蚂蚁自研的原生分布式数据库OceanBase,实现了从传统集中式数据库向高性能分布式数据库的转型,加快了证券业务数字化迭代升级。
261 0
数据处理能力提升200%!蚂蚁自研数据库OceanBase正式应用于基金业务系统
|
存储 SQL 关系型数据库
PolarDB-X 1.0-客户案例-互联网服务:小打卡
PolarDB-X专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题,历经各届天猫双十一及阿里云各行业客户业务的考验,助力企业加速完成业务数字化转型 。本文介绍小打卡如何通过PolarDB-X应对业务挑战。
336 0
PolarDB-X 1.0-客户案例-互联网服务:小打卡
|
数据采集 新零售 算法
基于DRDS的千万级会员数据迁移方案设计
某集团进行数字化转型,围绕着新零售业务中台能力为核心,数据中台为底座,搭建统一会员中心体系,实现会员的统一管理与打标,精准营销,提升经营效率。 通过对各个域的会员数据进行清洗,并迁移到阿里云DRDS数据库中,从而完成对会员数据的初始化工作。
|
存储 弹性计算 运维
2020双十一阿里集团电商数据库上云揭秘
2020双11,MySQL数据使用的是MyBase产品形态,客户可以自己选择亲和性隔离等,经过了上游评估、网络评估、机器评估、数据库本身的形态评估还有异地只读,保证了2020年双11的平滑。
405 0
2020双十一阿里集团电商数据库上云揭秘