阿里云数据库2-3月刊:阿里云峰会云数据库四大发布

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 2019阿里云峰会北京站于3月21日在国家会议中心顺利召开,上午主论坛共有4个与数据库相关产品发布:图数据库GDB公测、POLARDB 2.0(PostgreSQL增强版兼容Oracle)、云数据库RDS PostgreSQL发布GPU规格版本、RDS全面支持BYOK加密; 北京峰会分论坛中,数据库共3场12个演讲,分布在开发者专场、云灾备和迁移专场、数据库专场等。

一、 重点事件

1、 阿里云智能数据库产品亮相2019阿里云峰会北京站
2019阿里云峰会北京站于3月21日在国家会议中心顺利召开,上午主论坛共有4个与数据库相关产品发布:图数据库GDB公测、POLARDB 2.0(PostgreSQL增强版兼容Oracle)、云数据库RDS PostgreSQL发布GPU规格版本、RDS全面支持BYOK加密;
北京峰会分论坛中,数据库共3场12个演讲,分布在开发者专场、云灾备和迁移专场、数据库专场等。另外,还有2个专访、1个飞刀&客户见面会、1个客户晚宴。数据库专场现场共签到200人左右,参与飞刀见面会的嘉宾超50位,玖富金融、龙湖地产、央视网、好未来、用钱宝、西会科技、亚博松、聚美优品、点评微生活、一亩田、上海数梦工场等客户在现场进行了比较深度的交流,客户对这种交流方式给予了肯定,其中龙湖地产预约了团队拜访交流;传播方面,除了阿里云整体的公关文章外,数据库还发布5篇产品和技术文章。
查看产品发布详情:https://mp.weixin.qq.com/s/KH7TDHJF_TZ3ylki97ijcw

二、 商用产品技术进展

1. 阿里云重磅发布POLARDB v2.0,兼容Oracle和PostgreSQL。这是业内首款兼容Oracle的云原生数据库,可帮助企业平滑地将传统数据库上的业务迁移上云。
POLARDB v2.0采用了存储计算分离、软硬件一体化设计,通过高速的RDMA网络提供共享存储的架构,可以快速实现弹性缩扩容,单个实例可扩展到1000核计算能力,同时可以横向扩展到100TB存储空间,满足大规模业务场景的需求。作为云原生数据库,POLARDB采用自主研发分布式存储引擎设计,计算服务器和存储数据分离的架构,性能更快,弹性能力更佳,自带只读节点,数据自适应扩展,数据三副本存储,秒级备份,提供更高的数据可靠性。

2. 图数据库GDB公测发布,高度连接数据查询效率提升10倍
阿里云发布了国内首个云原生的图数据库GDB,拥有多层关系数据的快速查询与存储能力,可帮助
企业提升10倍以上的信息查询效率,查询时延降低至毫秒级,适用于社交网络、金融欺诈检测、实时推荐引荐、知识图谱等智能应用领域。
和关系型数据库存储结构化的表数据不同,图数据库存储的是图,即用点和边来表达数据之间的关系,社交关系、线上交易记录都属于图数据。据介绍,GDB对高度互连数据集进行了深度优化,能够轻松应对百亿级关系数据的存储并提供低延时访问,可保证图数据完整性的同时进行快速的数据更新。

3. 云数据库RDS ESSD云盘版本公测发布
通过对 ESSD 云盘的支持,RDS提供高达 100 万 IOPS 性能, 同时可以实现在线无间断的存储空间扩展。当前已经提供 MySQL 5.7 以上 及SQL Server 2012 以上的支持,后续将支持到 MariaDB 及 PostgreSQL,覆盖 RDS 所有引擎。
公测:https://page.aliyun.com/form/act464253584/index.htm

4. 阿里云RDS PostgreSQL数据库GPU规格版本正式上线
阿里云RDS PostgreSQL数据库GPU规格版本正式上线,开启了RDS异构计算并行加速之路。该版本在RDS(关系型数据库服务)的云基础设施层面首次完成了与阿里云异构计算产品的适配,实现了PostgreSQL时空引擎Ganos在空间图形图像处理上的并行计算加速,成为国内第一个将GPU应用于商业空间信息领域的数据库。伴随该版本的发布,RDS在云基础设施层面首次完成了GPU计算框架的适配,为云上数据库构建异构计算并行环境建立了重要基础。由于空间图形图像数据体量大、计算复杂,首期GPU加速能力主要与阿里云数据库时空引擎 Ganos结合,大幅提升空间数据处理性能。PostgreSQL时空引擎 Ganos为一种云数据库增值服务,为各类时空数据提供云上的高效存储、查询和分析计算服务。

5、 BYOK本地盘TDE,为云上用户,提供了使用个人秘钥或者说自定义的密钥的机会,自主进行表级别加密设置的数据库安全服务

在本次发布的BYOK方案中,秘钥存储在阿里云密钥管理服务(KMS)中,由用户拥有和管理,通过个人授权云服务的方式,实现了秘钥的访问控制,在数据库实例秘钥管理方面,为用户提供了更高的透明度,自主性和细化控制。 内核实现方面,阿里云数据库团队基于自主研发的MySQL5.6内核,实现表级别的透明加密服务。使用者的开发人员无需更改任何应用程序,按照page size进行block加密,写入磁盘之前进行加密,从磁盘读入内存时进行解密,不会增加数据文件的大小。 总结起来,BYOK TDE让用户自主选定个人秘钥,自主控制加密表格,将密钥管理与数据库管理责任分离,为云上用户提供了更透明更自主的安全机制,帮助满足用户数据库安全方面的需求。

6. MongoDB副本集覆盖同城单、双、三可用区容灾,机房级RPO=0保障
MongoDB副本集覆盖支持同城单、双、三可用区场景下的同城容灾,单节点故障、单可用区故障均支持自动切换,确保应该正常可用。全形态支持RPO=0的高可靠性保障,任一节点故障、机房故障,可确保数据不因故障而丢失。足以满足金融、保险等强监管行业业务及企业重要数据、敏感数据处理等核心场景的使用需求。

7. AnalyticDB支持全文检索,具备多模分析能力
将结构化和非结构化数据列在一个表中同时定义,且支持进行结构化和非结构化条件联合检索满足多变的检索需求;内置了来自淘宝、天猫搜索的智能分词组件,分词效果更好速度更快;支持完善的分布式Join、subquery,包括分区键及非分区键计算。无需在应用层做application-side join。

8. Data Lake Analytics“一键建仓”能力覆盖支持MySQL、PostgreSQL、SQL Server
Data Lake Analytics“一键建仓”迈出了第一步,目前为止覆盖支持了MySQL、PostgreSQL、SQL Server数据库数据源的一键元数据同步,跳过手动元数据映射和外表建表流程,大大提高了这几种数据库数据源的分析接入效率。

9. 数据传输服务DTS支持Redis实例间、MySQL->Kafka的数据实时同步、数据传输服务DTS支持Oracle redo log实时订阅
数据传输服务DTS支持Redis实例间的数据实时同步,基于日志实现毫秒级同步延迟。通过这个功能,用户可以实现异地灾备、业务零停机上云等业务场景。支持MySQL->Kafka 实时同步,用户可以将MySQL变更数据实时同步至自己的Kafka集群,借助Kafka丰富的生态,进行数据消费。
数据传输服务DTS支持Oracle redo log实时订阅,用户可以通过DTS实时获取Oracle变更数据,实现系统间消息通知或数据同步

10. 数据库备份DBS上线SQLServer物理备份,支持全量及增量备份,实现1小时的RPO,有效提升企业数据安全。
数据库备份DBS推出SQL Server物理备份方式,支持全量备份及增量备份,支持备份集压缩及恢复到任意数据库的能力。通过物理备份,可将私有网络数据库备份到公有云,同时,通过增量备份功能可实现1个小时的RPO,提升数据安全性。

10. 数据管理DMS企业版支持POLARDB,支持数据库访问控制及研发流程控制,有效提升数据库安全
数据管理DMS企业版发布支持POLARDB,帮助企业客户实现POLARDB的数据导出、数据变更、表结构设计等开发者常用功能的研发流程控制及数据安全管理

三、 技术项目进展

 RDS MySQL数据库代理升级
为提供更出色的稳定性和性能,阿里云将对部分RDS实例进行网络连接模式升级,即从高安全模式(数据库代理)升级到高性能模式(标准模式)。升级后的优势:
【稳定性】升级后网络链路少一次跳转,极大提高了稳定性。
【性能】升级后网络链路少一次跳转, 响应时间平均减少20%,性能明显提升。

 RDS MySQL 及 SQL Server支持库表级数据恢复
企业业务发展过程中,由于不可预知的业务问题可能需要对某个Database 或某个 Table 进行数据回复,原有 RDS 功能只支持针对整个实例的数据恢复,花费时间效长,不符合业务需求。阿里云为此在 RDS MySQL中支持单库和单表的数据恢复,可以通过备份指定恢复误删的数据库或表,快速恢复RDS MySQL的数据。RDS SQL Server 2017企业集群版同样发布了数据库恢复功能,支持恢复到全新实例,可以恢复整个实例或者单个数据库。

[ 数据管理DMS个人版支持管理用户线下私有网络中的数据库,跨数据库查询应用访问能力,为私网数据库提供在线数据库研发环境,有效提升用户研发效率]
针对用户本地IDC自建数据库、其他云厂商的云数据库,用户可以在不暴露数据库公网地址、不采购昂贵的网络技术实施的基础上,直接通过数据管理DMS访问并管理私网数据库。这个解决方案为用户提供私网环境数据库的研发环境,保障数据库安全的同时,提升数据库研发效率。
数据管理(DMS)跨数据库查询功能可实现跨同异构数据库的在线查询。其可支持MySQL、SQLServer、PostgreSQL及Redis等数据源。通过这个功能,用户可以使用一条SQL实现跨数据库实例的复杂关联查询。此次跨数据库查询服务产品化,服务协议兼容MySQL,用户可以通过MySQL Driver、MySQL命令行工具及客户端生态工具访问DMS服务端实现跨数据库的查询诉求。

 Redis 5.0支持日志管理体系
提供慢日志功能,方便客户定位慢查询操作,进行性能问题排查。提供操作命令,执行时常,执行用户等相关信息。
提供审计日志功能,方便客户进行问题回溯,开启审计日志后可以100%捕捉客户执行命令,包括命令信息,执行时间,执行账户,消耗时间等相关信息。
提供运行日志信息,方便客户掌握实例运行基础信息。

四、 学术、科研、技术成果

阿里自研OLTP数据库的里程碑: X-Engine论文被数据库顶会SIGMOD 2019收录
由数据库产品事业部联合达摩院数据库与存储实验室撰写的论文 "X-Engine: An Optimized Storage Engine for Large-scale E-Commerce Transaction Processing" 日前已经被ACM SIGMOD'19接收。
X-Engine是阿里数据库产品事业部-OLTP产品部自研的高性能低成本数据库存储引擎,作为自研分布式关系型数据库PolarDB(X)的存储引擎,已经广泛应用在集团内部诸多业务系统中,其中包括交易历史库,钉钉历史库等核心应用,为业务大幅缩减了成本,同时也作为双11大促的关键数据库技术。

• 智能自治化数据库平台:
全网慢SQL通过自动SQL优化比上月减少9.1% (460万->418万);自动空间优化累计节省空间2.15PB;自动参数优化规模化完成7200实例;自动Buffer Pool优化累计节省内存21TB (12.7%),完成既定20T目标;全网日均告警数量通过自动告警处理比上月减少~20%,稳定在每日500次以下。

• 加密数据库:
针对云数据库场景,完成对PostgreSQL多个模块的安全改造与改进:数据加密由采用SGX sealing加密改进为采用用户密钥加密;完成数据库SGX remote attestation安全通信的客户端部分改造。

专利:一种云上跨云、跨地域的多数据源SQL查询系统与方法
通过弹性网络技术、数据源来源标识和网络探测优化等技术,实现“多云”,“多region”场景下的异构数据源接入分析和回流能力。目前部分能力已经集成与落地到Data Lake Analytics中,被用户业务大量使用。

专利:一种数据湖中元数据快速创建的系统与方法
为用户提供特定设计的DDL语法,对结构化、半结构化等多种数据库、数据文件格式,多种压缩算法的数据文件进行智能同步与智能识别,极大提升了Data Lake Analytics的数据接入和数据探索效率和用户体验,目前已经集成与落地到Data Lake Analytics中。

• 与浙大下一代数据库实验室合作的智能问答数据库Demo系统完成。基于自然语言理解和机器翻译技术,可输入中文问题,转化为SQL语句并输出结果。

五、 技术沙龙

 阿里云栖开发者沙龙-时序数据库专场
3月2日,本期沙龙以“开辟大数据新赛道,教你玩转海量时序数据”为主题,主要面向华北地区客户进行技术布道。邀请了来自滴滴、饿了么、二维火的多位业内数据库技术专家分享交流技术经验,畅谈时序数据库背后的那些事儿。近200名客户和开发者到场参会,云栖社区同步在线直播上万人观看。
直播回看地址:https://yq.aliyun.com/live/863

 Presto Summit 2019
Presto Summit 2019 在Facebook总部举行,会上OLAP团队分享了 《AnalyticDB基于Presto的改进》。AnalyticDB积累的计算和优化器改进引起强烈反响,希望能开源回馈社区,已经有包括Facebook在内的多家公司提出了团队交流提议。

客户案例

● POLARDB如何助力轻松筹打造5亿用户信赖的大病筹款平台?
轻松筹首创了“大病救助”模式,帮助了众多病患在第一时间解決了医疗资金等问题,为了从源头解决了医疗资金问题。而在轻松筹这样全球5.5亿用户信赖的大病筹款平台的背后,是日益增长的各种数据。面对这样数据量所造成的巨大挑战,阿里云POLARDB是如何帮助轻松筹践行“善DNA”的呢?查看详情

● 广告行业某客户落地Serverless数据湖方案
采用Data Lake Analytics方案,客户基于ECS自建系统全部下线,实现零维护成本,云上月开销成本节省4倍,同时数据清洗、分析性能提升4倍;全SQL化接口和MySQL工具链的全面兼容,让客户完全专注业务数据逻辑,充分激活日2000亿级数据记录的价值,加速赋能上、下游广告客户群体。

● 混合云管理HDM助力紫龙游戏实现数据库统一监控及性能优化
紫龙游戏通过HDM实现多个云厂商的云数据库及线下IDC自建数据库的统一管理监控。通过HDM,用户可以直观的查看所有数据库的监控、告警信息,确认异常实例,并且可以直接进行一键诊断、数据库优化,帮助我们提升了数据库管理的效率,加强了数据库的稳定性。

● 数据传输服务DTS助力国家能源集团实现业务数据到报表系统的实时同步
国家能源集团通过DTS实现线上业务数据库到数据仓库的数据实时同步,实现实时报表业务。通过DTS将不同数据库的数据汇总到分析库中,还实现了分库分表的汇总同步,有效避免复杂的跨库分析,提高用户报表产出效率。

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
21天前
|
关系型数据库 Apache 流计算
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
本文介绍了如何将数据从 OceanBase 迁移到阿里云数据库 SelectDB 内核版 Apache Doris。提供 3 种数据同步方法 1. 使用 DataX,下载 DataX 并编写配置文件,通过 OceanBaseReader 和 DorisWriter 进行数据迁移。 2. 利用 Apache Doris 的 Catalog功 能,将 OceanBase 表映射到 Doris 并插入数据。 3. 通过Flink CDC,设置 OceanBase 环境,配置 Flink 连接器,实现实时数据同步。
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
|
4天前
|
Cloud Native 关系型数据库 分布式数据库
数据库性能诊断工具DBdoctor通过阿里云PolarDB产品生态集成认证
DBdoctor(V3.1.0)成功通过阿里云PolarDB分布式版(V2.3)集成认证,展现优秀兼容性和稳定性。此工具是聚好看科技的内核级数据库性能诊断产品,运用eBPF技术诊断SQL执行,提供智能巡检、根因分析和优化建议。最新版V3.1.1增加了对PolarDB-X和OceanBase的支持,以及基于cost的索引诊断功能。PolarDB-X是阿里巴巴的高性能云原生分布式数据库,兼容MySQL生态。用户可通过提供的下载地址、在线试用链接和部署指南体验DBdoctor。
|
7天前
|
存储 监控 Apache
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中,Doris 显示出显著的性能优势,成功应对了数据增长带来的挑战。
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
|
14天前
|
存储 SQL Apache
阿里云数据库内核 Apache Doris 基于 Workload Group 的负载隔离能力解读
阿里云数据库内核 Apache Doris 基于 Workload Group 的负载隔离能力解读
阿里云数据库内核 Apache Doris 基于 Workload Group 的负载隔离能力解读
|
14天前
|
弹性计算 运维 Serverless
Serverless 应用引擎产品使用之在阿里函数计算中,使数据库和阿里云函数计算位于同一个内网中如何解决
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
989 0
Serverless 应用引擎产品使用之在阿里函数计算中,使数据库和阿里云函数计算位于同一个内网中如何解决
|
15天前
|
安全 数据管理 数据库
数据管理DMS操作报错合集之阿里云DMS控制台上展示出了已经删除的数据库信息,如何解决
数据管理DMS(Data Management Service)是阿里云提供的数据库管理和运维服务,它支持多种数据库类型,包括RDS、PolarDB、MongoDB等。在使用DMS进行数据库操作时,可能会遇到各种报错情况。以下是一些常见的DMS操作报错及其可能的原因与解决措施的合集。
|
19天前
|
运维 容灾 关系型数据库
阿里云关系型数据库RDS
阿里云关系型数据库RDS概述
250 2
|
3天前
|
关系型数据库 MySQL 数据库
docker MySQL删除数据库时的错误(errno: 39)
docker MySQL删除数据库时的错误(errno: 39)
10 0
|
1天前
|
关系型数据库 MySQL 数据库
mysql 设置环境变量与未设置环境变量连接数据库的区别
设置与未设置MySQL环境变量在连接数据库时主要区别在于命令输入方式和系统便捷性。设置环境变量后,可直接使用`mysql -u 用户名 -p`命令连接,而无需指定完整路径,提升便利性和灵活性。未设置时,需输入完整路径如`C:\Program Files\MySQL\...`,操作繁琐且易错。为提高效率和减少错误,推荐安装后设置环境变量。[查看视频讲解](https://www.bilibili.com/video/BV1vH4y137HC/)。
17 3
mysql 设置环境变量与未设置环境变量连接数据库的区别
|
3天前
|
关系型数据库 MySQL 数据库连接
用Navicat备份Mysql演示系统数据库的时候出:Too Many Connections
用Navicat备份Mysql演示系统数据库的时候出:Too Many Connections
10 0