蚂蚁金服OceanBase冯柯:自研技术这条路很难,但我们会坚持走下去

简介:


小蚂蚁说


美国商务部于2018年4月16日宣布7年内禁止本国企业向中国的电信设备制造商中兴通讯公司销售零件。


实际上,就是禁止一切美国公司与中兴进行任何形式的交易。由于中兴公司通讯类产品所需要的美国进口核心部件,因此有业界评论者直言,这几乎意味着中兴公司的灭顶之灾。


消息公布后,中兴在深圳A股市场和港交所同时停牌,其被封杀遭遇的程度可以说是前所未有。


“中兴事件”的持续爆发后,让中国造基础软件的声音渐渐高涨,在这众多的声音中,笔者发现出现了一种与以往不同的声音,而且点赞支持的人还很多,——“基础软件的国产化,如果是互联网公司来做才会成功。”


虽然,这个声音可能有些理想化,但是从中也看出大家对于互联网公司的技术和自研能力是很认可的。蚂蚁金服作为现在知名的互联网公司,其技术水平也一直被大众津津乐道。


在即将召开的DTCC 2018大会开幕之前,我们采访了蚂蚁金服资深总监、OceanBase首席架构师冯柯,听他讲讲他对自研技术的一些看法。

4b11adc41c6fc09059ef7b44167382e43529ff2d


【 人物介绍:】

2014年加入蚂蚁金服,入职前在数据库厂商神舟通用任CTO,浙江大学计算机应用专业博士,十五年数据库研发和产业化经验。目前在基础数据部(OceanBase团队)任架构师,参与OB 1.0的设计和研发工作,主要研究领域分布式关系数据库、数据存储、性能诊断和优化。


1. 技术没有好坏之分,开源 OR 自研均是业务驱动


之前我们在采访国产基础软件厂商时,听到了很多关于开源的声音,有人称,“开源不等于可控,创新过分依赖开源容易受制于人”,也有人说“很多厂商在开源框架上进行微创新,然后采用低价策略抢占市场,导致行业丧失做基础原创性技术创新的动力”……


凡此种种,我们看到有很多人对基于开源来做研发都抱着不太友好的态度。而冯柯则把基于开源的研发比作开吉普车,把自研技术比作造高铁,他认为技术选择没有绝对的对或错,基于开源或自主研发的选择是要看能不能真正解决业务问题。


Oceanbase是蚂蚁金服完全自主研发的数据库,为什么在技术选择的时候会选择自研而不是基于开源开发?“很大的原因是这个分布式数据库是一个全新的技术挑战,现有的开源技术中能够借鉴复用的东西很少”,冯柯这样说道,“还有一个重要原因就是技术的理想主义,我们不想被现有的开源技术框架所束缚。”


2.“我深知自研技术有多难,但自研的价值得我们这么做”


冯柯是一个扎根于软件和互联网行业十五年的老兵,他见证了中国软件收入从1998年的325亿到20175.5万亿的增长,同时他也清楚的知道在最核心的CPU、操作系统和数据库上,过去我们并未取得商用意义上的重大突破。基础软件的自研技术有多难,冯柯再清楚不过了,但他也坚定的认为自研技术的价值值得我们这么去做。


国内自研软件产品的发展一路走来都是波折颇多,先是被盗版商用软件掠夺,后来又被开源生态套路。基于开源能让我们技术水平快速提升,但同时也在一定程度上束缚了我们的思维,而自研技术给予了我们基础创新的源动力。


自研技术的另一个好处就是可以实现差异化价值。以Oceanbase为例,从最开始的构想就是要基于自身积累的核心金融业务场景实现差异化价值,所以在架构设计上就与OracleDB2完全不一样,OceanBase的分布式系统更多是通过系统架构和软件实现系统高可靠。现在,Oceanbase不仅承担了蚂蚁金服“双十一”全部核心业务的重压,还在6家商业银行落地。


3.搞自研,传统厂商的大优势可能会是大包袱,而互联网企业可以轻装上阵


“中兴事件”更像是一场大浪淘沙,原本被淹没的国产基础软件的声音一下子被完全释放出来了,文章开头我们写了很多人都对互联网企业的基础软件开发寄予厚望,为什么会出现这种情况?与传统的基础软件厂商相比,它们各有什么优势呢?


冯柯在入职蚂蚁金服之前,曾在数据库厂商神舟通用任CTO。既待过传统数据库厂商,同时也在互联网企业搞研发的他,自然是这个问题的最好回答者。“老牌数据库公司,有完整的生态系统,这是巨大优势。但老牌数据库厂商的大优势,同时也是大包袱。”


过去国内做自研数据库,实际上是在走一条追赶、模仿商用数据库公司的发展道路,真正能够做出差异化的东西很少,而现在做数据库从技术思路上就发生了转变,从集中式数据库技术形态到分布式技术形态。


而这一转变,让传统厂商的生态优势反倒可能成为包袱。众所周知,传统厂商当年做数据库时PC服务器可靠性非常差,也没有最近才发展起来的高可用、高可靠的分布式架构。在这种情况下,传统厂商想要创新自研就像是大车掉头,需要兼顾的方面很多,而互联网企业则可以轻装上阵。


4.总结


自研技术的难度众所周知,但蚂蚁金服在自主研发、自主创新这条路上从不怕挑战,从支付宝担保交易,到风险识别、智能客服,再到更基础的数据库、中间件等均有技术创新。


在即将到来的DTCC 2018大会上(2018年5月10-12日,北京国际会议中心),除了冯柯会带来主题演讲,讲述自研分布式数据库背后的故事,蚂蚁金服的其它技术研发专家会带来更多分布式事务处理、大规模图计算、数据分析等领域的应用和案例分享。


640?wx_fmt=png


中国数据库技术大会(简称 DTCC)是国内数据库及大数据领域规模最大、最受欢迎的技术交流盛会,每年一届。


自 2010 年以来,大会邀请百余位行业专家,就热点技术话题进行分享,为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供最具价值的交流平台。

2018 年 5 月 10-12 日,第九届中国数据库技术大会(DTCC2018)将如约而至。在本届大会中,蚂蚁金服将带来以下主题分享:


一、DTCC主论坛


1、DTCC与OceanBase共同成长,一路走来


【 演讲时间及简介:2018/5/10 08:40-08:45 】

自2015 年起,OceanBase 团队从各个渠道引进数据库人才,经过不断的努力,并最终实现了数据库的重构,推出了真正面向云时代的分布式数据库。从 2017 年开始,OceanBase开始了向传统金融赋能的实践过程。2017 年年底,OceanBase 在南京银行正式上线,OceanBase 还出口到了印度和美国等地。至此,OceanBase真正实现了从研发实践,到正式对外商用的转型。回顾9年来,中国数据库技术大会,作为一个分享的平台,如实地记录了OceanBase的关键研发应用过程,见证了OceanBase的成长历程。


【 嘉宾介绍:阳振坤 蚂蚁金服 高级研究员,OceanBase自主研发数据库研发创始人 】

1999年成为北京大学首批长江学者之一,曾获得国家科技进步一等奖(排名第四),是20多项发明专利的发明人。曾先后担任北京大学计算机科学技术研究所副所长、联想研究院首席研究员、微软亚洲研究院主任研究员、百度高级科学家。


2、自研技术在蚂蚁金服的发展、实践与未来


【 演讲时间及简介:2018/5/10 13:30-14:10 】

作为自主研发的金融级分布式数据库,多年来OceanBase稳定地支持了蚂蚁金服双十一峰值流量,并于2017年创造了25.6万笔支付每秒的世界纪录。作为新一代的关系数据库,OceanBase在扩展性、高可用、高性能、低成本等方面解决了一系列世界性技术难题,为上层应用提供了“不停机缩扩容”、“弹性大促”、“多地多活”等多项核心能力。今天,我们将为你一一解开OceanBase背后的“技术秘密”。


 嘉宾介绍:冯柯蚂蚁金服资深总监,OceanBase首席架构师 

2014年加入蚂蚁金服,入职前在数据库厂商神舟通用任CTO,浙江大学计算机应用专业博士,十五年数据库研发和产业化经验。目前在基础数据部(OceanBase团队)任架构师,参与OB 1.0的设计和研发工作,主要研究领域分布式关系数据库、数据存储、性能诊断和优化。


二、金融级核心基础技术应用实践专场


1、OceanBase:蚂蚁金服自主研发的金融级分布式数据库


【 演讲时间及简介:2018/5/10 13:30-14:10 】

作为自主研发的金融级分布式数据库,多年来OceanBase稳定地支持了蚂蚁金服双十一峰值流量,并于2017年创造了25.6万笔支付每秒的世界纪录。作为新一代的关系数据库,OceanBase在扩展性、高可用、高性能、低成本等方面解决了一系列世界性技术难题,为上层应用提供了“不停机缩扩容”、“弹性大促”、“多地多活”等多项核心能力。今天,我们将为你一一解开OceanBase背后的“技术秘密”。


【 嘉宾介绍:陈萌萌蚂蚁金服资深技术专家 】

目前在OceanBase团队负责SQL相关方向的开发工作。2006年毕业于清华大学,2006年到2008年在欧洲核子研究中心(CERN)负责网格计算调度器的开发工作,2009年5月在美国威斯康辛大学麦迪逊分校获得计算机硕士学位,先后在Oracle、华为美国研究所从事数据库的开发和研究。


2、分布式事务:核心金融场景下的实践与演进


【 演讲时间及简介:2018/5/10 14:10-14:50 】

性能与数据一致性保证是金融交易场景中永恒的挑战。经过多年的双十一大促、新春红包等场景,蚂蚁金服对极限性能场景下的分布式事务有非常完整、深入的理论认知,自身做了很多创新,形成了一套完整分布式事务解决方案。本次演讲主要呈现蚂蚁金服分布式事务解决方案技术演进过程,其中对事务一致性、极限性能优化、容灾、平滑扩缩容、业务接入分布事务框架复杂度、方案通用性等方面的深入思考。


【 嘉宾介绍:尹博学蚂蚁金服资深技术专家 】

目前在蚂蚁金服负责数据中间件技术方向。此前在百度负责数据库内核及集群技术方向。在分布式事务、数据库高性能/高可靠架构、数据库内核等领域有较为深入的研究和丰富的工程实践。


3、蚂蚁数据分析平台的演进历程


【 演讲时间及简介:2018/5/10 15:10-15:50 】

蚂蚁数据分析平台以实现阿里生态”分析民主化”为使命,不断的增强数据分析特性和降低分析的门槛,过去一年,该服务在财富、微贷、保险、集团客户体验事业群等10+BU得到广泛应用,极大提高了分析的效率和分析的全面性。同时很多业务线都基于蚂蚁数据分析平台快速构建垂直数据应用,极大的提升了50%的构建效率。而应对如此丰富的数据分析场景,我们如何去构建一个数据分析平台来支撑这些场景成为了我们技术的核心挑战。在本次分享中我将会从业务场景出发,和大家一起来推演是如何将业务问题转换成技术问题,并且如何去解决这些技术的问题。


【 嘉宾介绍:张荣华蚂蚁金服高级技术专家 】

现任蚂蚁金服数据分析平台负责人,目前负责蚂蚁金服数据分析平台,包含商业智能分析产品,和科学计算相关的产品。在互联网领域工作多年,在计算机科学与技术,抽象与架构,以及数据分析等方面有较为体系化的理解和沉淀。


4、大规模图计算平台GeaBase及其在蚂蚁的应用


【 演讲时间及简介:2018/5/10 15:50-16:30 】

随着大数据应用越来越广泛,人们逐渐开始关注海量数据之间的内在关系。如何在巨大的关系网络中快速发现有价值的信息将是未来数年大数据领域的一大挑战。Gea Base 是蚂蚁金服完全自主研发的新一代金融级实时图数据库。支撑的蚂蚁金服风控关系网络、资金关系网络等多个关键应用场景都达到百亿个节点,千亿条边的海量数据规模,保障了支付的风险控制、反洗钱、反套现、金融案件审理和好友推荐、理财资讯推荐等众多的业务。本次分享我们将介绍该图数据库及图计算平台,及其在蚂蚁业务中的应用。


【 嘉宾介绍:付志嵩蚂蚁金服图计算及存储技术团队高级专家

2015年加入蚂蚁金服,现任蚂蚁金服图计算及存储技术团队高级专家。作为主要架构设计和研发人员参与了实时图数据库GeaBase的开发,实现了对超大规模关系网络毫秒级的复杂查询及变更。目前团队的主要职责是研发新一代的图数据库和图计算产品。本科毕业于浙江大学计算机科学系并从美国犹他大学取得博士学位。后加入美国图数据库公司BlazeGraph,领导了分布式图计算系统的设计和开发。


想要吸收更多技术干货的朋友,就亲自到DTCC 2018的大会现场来聆听吧!


— END —


相关实践学习
阿里云图数据库GDB入门与应用
图数据库(Graph Database,简称GDB)是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache TinkerPop Gremlin查询语言,可以帮您快速构建基于高度连接的数据集的应用程序。GDB非常适合社交网络、欺诈检测、推荐引擎、实时图谱、网络/IT运营这类高度互连数据集的场景。 GDB由阿里云自主研发,具备如下优势: 标准图查询语言:支持属性图,高度兼容Gremlin图查询语言。 高度优化的自研引擎:高度优化的自研图计算层和存储层,云盘多副本保障数据超高可靠,支持ACID事务。 服务高可用:支持高可用实例,节点故障迅速转移,保障业务连续性。 易运维:提供备份恢复、自动升级、监控告警、故障切换等丰富的运维功能,大幅降低运维成本。 产品主页:https://www.aliyun.com/product/gdb
目录
相关文章
|
7月前
|
存储 调度 数据库
OceanBase存储引擎高级技术——内存数据落盘策略-合并和转储
OceanBase存储引擎高级技术——内存数据落盘策略-合并和转储
563 0
|
存储 监控 容灾
初二不放假 | OceanBase技术文章精选Top10
辞旧迎新,今天初二啦~(问就是与我无关,不放假☺️) 年前为大家做《盘了个盘~2022年OceanBase最受读者欢迎的20篇文章》时,我们也对全年的内容做了一下整体回顾,发现每个版块的内容还是很值得做一个单独的盘点,所以值此春节假期,给大家做一下分门别类的<春节系列回顾>,今天先给大家盘点一下 2022 年 OceanBase 技术文章 Top10,希望为您带来一些启发与思考,也欢迎收藏或分享(点击下方图片直达原文)。
244 0
初二不放假 | OceanBase技术文章精选Top10
|
负载均衡 Oracle 关系型数据库
7.07亿TPC-C背后的技术突破,OceanBase研究成果入选VLDB
7.07亿TPC-C背后的技术突破,OceanBase研究成果入选VLDB
313 0
7.07亿TPC-C背后的技术突破,OceanBase研究成果入选VLDB
|
存储 Oracle 安全
阳振坤:OceanBase 4.0 核心技术解读
阳振坤:OceanBase 4.0 核心技术解读
243 0
阳振坤:OceanBase 4.0 核心技术解读
|
存储 SQL 网络协议
自研一体化分布式架构数据库-OceanBase
本文整理自OceanBase社区布道师周跃跃,在如何构建简单高效的现代化数据栈的分享。
自研一体化分布式架构数据库-OceanBase
|
运维 容灾 分布式数据库
一年一度 OceanBase 技术征文大赛全面开启! 入门实战,等您来写
为了让更多用户能够真正体验到 OceanBase 数据库,Gitee 联合 OceanBase 发起一年一度 OceanBase 技术征文大赛,邀请广大开发者体验从部署到迁移的各种玩法,第一期征文主题将围绕《OceanBase 社区版入门到实战》课程学习与实践。
|
SQL 存储 Oracle
杨传辉:深挖 OceanBase 背后的技术逻辑,助力数据库核心系统升级
数据库是信息社会的基础设施,通过开放开源助力数据库技术的快速发展,构建新一代数据基础设施是大势所趋!在“2021云栖大会 . OceanBase 原生分布式数据库论坛” 上,OceanBase CTO 杨传辉为大家带来了一场主题为《OceanBase 一体化架构助力核心系统升级》的演讲。
200 0
杨传辉:深挖 OceanBase 背后的技术逻辑,助力数据库核心系统升级
|
负载均衡 容灾 关系型数据库
深度干货 | OceanBase 主动切主技术解读
OceanBase(以下以 OB 简称)中有一个总控节点服务称之为 RootService,用于管理整个集群中的负载均衡等操作。该服务启动在 __all_core_table 的主副本(Leader)所在的服务器上。本文主要介绍 RootService(以下以 RS 简称)对切主的管理。
585 0
深度干货 | OceanBase 主动切主技术解读
|
存储 容灾 数据挖掘
蚂蚁自研数据库OceanBase首次阐述战略:继续坚持自研开放之路 开源300万行核心代码
6月1日,在数据库OceanBase3.0峰会上,蚂蚁集团自主研发的分布式数据库OceanBase首次从技术、商业和生态三个维度对未来发展战略进行了系统性阐述。同时,OceanBase宣布正式开源,并成立OceanBase开源社区,社区官网同步上线,300万行核心代码向社区开放
208 0
蚂蚁自研数据库OceanBase首次阐述战略:继续坚持自研开放之路 开源300万行核心代码
|
存储 运维 容灾
数据处理能力提升200%!蚂蚁自研数据库OceanBase正式应用于基金业务系统
近日,上投摩根互联网货基理财项目基于蚂蚁自研的原生分布式数据库OceanBase,实现了从传统集中式数据库向高性能分布式数据库的转型,加快了证券业务数字化迭代升级。
261 0
数据处理能力提升200%!蚂蚁自研数据库OceanBase正式应用于基金业务系统

热门文章

最新文章