开源数据库企业应用的探索与实践——云栖技术之旅第1期精彩回顾

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: PostgreSQL是一种对象关系型数据库管理系统,这个起源于伯克利(BSD)的数据库研究计划目前已经衍生成一项国际开发项目,并且拥有非常广泛的用户。PostgreSQL被誉为目前功能最强大、特性最丰富和最先进的开源数据库系统。   PostgreSQL支持大部分SQL标准并且提供了许多其

274b9b6151c8ac2f71bdc6a3c0a1485177679ce6


PostgreSQL是一种对象关系型数据库管理系统,这个起源于伯克利(BSD)的数据库研究计划目前已经衍生成一项国际开发项目,并且拥有非常广泛的用户。PostgreSQL被誉为目前功能最强大、特性最丰富和最先进的开源数据库系统。  

PostgreSQL支持大部分SQL标准并且提供了许多其他现代特性,比如复杂查询、外键、触发器、视图、事务完整性、MVCC等,此外还可以通过许多方法进行特性扩展,一些特性甚至是当今许多商业数据库的前身。 

9月24日,由云栖社区与PostgreSQL中文社区联合主办“云栖技术之旅·开源数据库企业应用实践”专场沙龙在北京阿里中心望京A座举办,PostgreSQL爱好者齐聚,一起探讨最先进的开源数据库的魅力。 


PostgreSQL在互联网企业中的实战


PostgreSQL中国社区核心成员张文升带来了《PostgreSQL在互联网企业中的实战》主题分享。

张文升,目前是探探DBA,负责探探的数据库架构、运维和调优的工作。曾就职于去哪儿网,负责PostgreSQL运维工作。因为对PostgreSQL热开,投入了PostgreSQL开源社区的怀抱,成为核心成员与志愿者。

张文升认为,大家对PostgreSQL还是有很多误解,网络上有很多文章,可能是年代太久远,也可能是其它原因,都认为PostgreSQL只适合做OLAP,不适合在互联网的应用。数据分析是PostgreSQL的强项,多表join、丰富的FDW、窗口函数等在数据分析都有很大的优势。事实上,PostgreSQL在互联网企业应用中也非常好用,做OLTP应用,PG无论在可靠性和性能方面都不输其它任何关系型数据库,包括商业和开源的关系型数据库。去哪网就是国内PostgreSQL最大的用户之一。   

OLTP(联机事务处理)的特点是:高并发,小事务;查询多、写入多;更新多,删除少。对于此类场景的常规解决办法是: 

  • 频繁更新的数据通过表空间放到内存或SSD
  • xlog建议放在单独的存储设备(对于PCI-e卡则没有必要)
  • 拆表(表拆分的好处是可以分布到不同的表空间,autovacuum颗粒度更小,prevent wrap的概率变小,维护更加方便)
  • 拆库(业务数据和日志数据分离,各业务子模块拆分,按用户ID 2^n取模拆分)
  • 尽量精简在线数据
  • 如果磁盘性能比较好,可以将块大小调大至32k

关于PostgreSQL的性能调优,还有很多细致的工作要做,比如可以从操作系统、数据库系统部署、全局配置参数、索引等等方面去做调整,而开发人员可以从应用架构及SQL语句等细节着手进行调优工作。 

此外,PostgreSQL作OLTP应用时,需要使用连接池。每个PostgreSQL进程在工作时会分配1个CPU核使用,因此不适合直接与高并发的短连接应用直接连接。对于互联网高并发场景,加上pgbouncer或pgpool连接池是比较好的解决办法,其中pgbouncer比较轻量实用,维护难度低。 0313c077d6fa2fa05a72330c88647fd1818a72d5

Postgresql是一个数据库内核,比Oracle少了很多功能,但是这些功能都可以通过插件来解决。对于高可用方案,可以通过Pacemaker+Corosync+PostgreSQL Replication来实现。  251d414cd592e128b47976028c9632e2c99a18e0

此外,关于高可用方案、安全、性能调优、全文检索方面的内容,请看演讲PPT和视频回放;

PPT:https://yq.aliyun.com/attachment/download/?id=845

视频回放:https://yq.aliyun.com/edu/lesson/play/370

 

Sybase迁移PostgreSQL经验分享

 

神州飞象高级数据库工程师赖伟带来了Sybase迁移PostgreSQL的项目经验分享,赖伟具有多年关系数据库运维经验,擅长PostgreSQL的调优和运维,具有丰富的数据库开发和异种数据库迁移经验。 

关于迁移的方法,赖伟给出了如下建议: 

  • 迁移主导:在不改变原有架构的基础上进行迁移
  • 测试驱动:迁移之前进行评估、测试
  • 标准化:通过文档将不同的迁移方法进行统一化,标准化
  • 自动化:采用自动化工具来进行迁移

迁移的流程如下:

 7aef28b38a610033b15865e5611c782da3d86159


对于Sybase数据库迁移至PostgreSQL,评估和匹配情况可见下表。 

 71a9ff1f972e00769c8ff8d2dde6104674fec96d

  

迁移具体方法请见演讲PPT和现场视频回放。 

PPT:https://yq.aliyun.com/attachment/download/?id=846

视频回放:https://yq.aliyun.com/edu/lesson/play/372


PostgreSQL优化器浅析 


在使用PostgreSQL数据库过程中,对SQL调优最常用的手段是使用explain查看执行计划,很多时候只关注执行计划的结果而未深入了解执行计划是如何生成的。优化器作为数据库核心功能之一,也是数据库的“大脑”,理解优化器将有助于我们更好地优化SQL。 

在本次沙龙上,阿里资深开发工程师范孝剑(花名康贤)带来了PostgreSQL优化器原理相关的分享。 

SQL处理过程如下: 

06353c4ad1365f68adf34ce0cf81a30de4fe7780

 在PG数据库中,对于DDL语句无需进行优化,到utility模块处理,对于DML语句需要到优化器中处理,一个用户连接从接收SQL到执行的流程如下:

1c8e9fdf796280a17d21d9127500ba40712a6c5a

以下是几种常见的PostgreSQL优化器对SQL优化的方法: 

  • 查询重写,主要目的是为了消除view、rule等,
  • 提升子链,目标是将IN和exists子句递归提升。
  • 提升子查询
  • 化简条件
  • 外连接消除(left/right/full join)
  • 条件下推(目的为了连接前,元组数组尽量少)
  • 语义优化
  • MIN/MAX优化
  • order by优化
  • distinct优化
  • 集合操作优化

以上这些方法更着重于SQL逻辑优化,也就是尽量对SQL进行等价或者推倒变换,以达到更有的执行计划。此外,PostgreSQL优化器还包括物理查询优化,比如单表扫描方式、多表组合方式、多表组合顺序等。 

关于PostgreSQL优化器原理的讲解请看演讲PPT和视频回放。 

PPT:https://yq.aliyun.com/attachment/download/?id=847

演讲视频回放:https://yq.aliyun.com/edu/lesson/play/376


Greenplum在听云的大数据实时分析实践


Greenplum是基于PostgreSQL开发的一个关系型数据库,它的特点主要就是查询速度快,数据装载速度快,批量DML处理快,而且性能可以随着硬件的添加呈线性增加,拥有非常良好的可扩展性。因此,它主要适用于面向分析的应用。比如构建企业级ODS/EDW或者数据集市等等。 

在本次沙龙上,听云平台后端数据库工程师周金可为大家介绍了使用Greenplum解决听云实际业务痛点的一些心得。

周金可加入听云时,恰好是业务快速增长的阶段,听云后端的应用以及数据库经受了比较大的考验。去年大多数时间是在做扩容,MySQL集群由最开始的数台实例扩展到现在的数百台实例。

听云数据库经历了由MySQL单机到MySQL分库分表分布式架构的演变,后来数据量继续膨胀,又使用压缩引擎对数据进行压缩。某个模块的单表数据量达百亿级,MySQL Shared方式已经无法保证查询性能,所以听云采用了GreenPlum MPP的方案来解决性能问题。 

从下图中可以看到,采用GreenPlum MPP后性能提升将近三个数量级,检索一天的数据量查询时间仅有90多ms。

  1ffc2cd55cf7f15dfbfb6a85b4af396fa7f31a37

  

关于Greenplum在听云的具体实践,请看演讲PPT和视频回放。 

PPT:https://yq.aliyun.com/attachment/download/?id=849

视频回放:https://yq.aliyun.com/edu/lesson/play/374


Greenplum分片案例分析 


在使用Greenplum并行过程中会遇到很多问题,其中最重要的一个问题就是分片。本次沙龙最后,阿里资深开发工程师窦贤明(花名执白)介绍了Greenplum分片的原理和分片案例的分析。 

可以通过下面几张图来了解Greenplum分片的原理。 

并行导入

e8ecf527d742d534f70057fdebb2b69faacf1aca

 

复制、插入 

221f5de54019739d47ec5fac5e3d0caf5166dadd

查询  a6fb510354705f5bba5bf67d10d69d86debcf9d6

执白还介绍了Greenplum分片的一些原则,比如大表Join运算的关联字段、防止数据倾斜、避免条件字段等,具体的分片方法请看演讲PPT和视频回放。 

PPT:https://yq.aliyun.com/attachment/download/?id=850

视频回放:https://yq.aliyun.com/edu/lesson/play/378


关于云栖技术之旅


云栖技术之旅,是由阿里云云栖社区主办,整合了阿里集团内部多个领域顶级技术专家与技术资源,通过线下技术培训的方式,为热爱技术的朋友提供一个交流&分享技术观点、碰撞精彩火花的平台。

更多详情:https://yq.aliyun.com/activity/114


相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
21天前
|
Cloud Native OLAP OLTP
在业务处理分析一体化的背景下,开发者如何平衡OLTP和OLAP数据库的技术需求与选型?
在业务处理分析一体化的背景下,开发者如何平衡OLTP和OLAP数据库的技术需求与选型?
122 4
|
26天前
|
Cloud Native 关系型数据库 分布式数据库
开发者视角看云原生数据库一体化技术趋势
随着云原生数据库技术的不断发展,一体化数据库解决方案成为技术圈的热点,云原生数据库一体化技术是当前数据库领域的重要趋势,对于开发者而言,学习理解和应对这一趋势,对于业务开发的成功实施非常重要。比如,阿里云瑶池数据库和PolarDB-X等产品通过离在线一体化、处理分析一体化和集中分布一体化等创新理念,引领了数据库领域的新变革。那么本文就来从开发者的角度探讨云原生数据库一体化技术趋势,并分析在业务处理分析一体化、集中式与分布式数据库边界模糊和云原生一体化数据库的选择等方面的影响。
186 4
|
8天前
|
存储 中间件 关系型数据库
数据库切片大对决:ShardingSphere与Mycat技术解析
数据库切片大对决:ShardingSphere与Mycat技术解析
14 0
|
21天前
|
SQL 关系型数据库 MySQL
【MySQL技术专题】「问题实战系列」深入探索和分析MySQL数据库的数据备份和恢复实战开发指南(8.0版本升级篇)
【MySQL技术专题】「问题实战系列」深入探索和分析MySQL数据库的数据备份和恢复实战开发指南(8.0版本升级篇)
94 0
|
3天前
|
存储 SQL 安全
6.数据库技术基础
6.数据库技术基础
|
7天前
|
运维 关系型数据库 分布式数据库
「合肥 * 讯飞」4 月 19 日 PolarDB 开源数据库沙龙,报名中!
4月19日周五,PolarDB开源社区联合科大讯飞共同举办开源数据库技术沙龙,本次沙龙我们邀请了众多数据库领域的专家,期待大家的参与!
「合肥 * 讯飞」4 月 19 日 PolarDB 开源数据库沙龙,报名中!
|
7天前
|
SQL 监控 数据库
数据库管理与电脑监控软件:SQL代码优化与实践
本文探讨了如何优化数据库管理和使用电脑监控软件以提升效率。通过SQL代码优化,如使用索引和调整查询语句,能有效提高数据库性能。同时,合理设计数据库结构,如数据表划分和规范化,也能增强管理效率。此外,利用Python脚本自动化收集系统性能数据,并实时提交至网站,可实现对电脑监控的实时性和有效性。这些方法能提升信息系统稳定性和可靠性,满足用户需求。
32 0
|
16天前
|
NoSQL 大数据 数据挖掘
现代数据库技术与大数据应用
随着信息时代的到来,数据量呈指数级增长,对数据库技术提出了前所未有的挑战。本文将介绍现代数据库技术在处理大数据应用中的重要性,并探讨了一些流行的数据库解决方案及其在实际应用中的优势。
|
21天前
|
SQL 关系型数据库 MySQL
【MySQL技术专题】「问题实战系列」深入探索和分析MySQL数据库的数据备份和恢复实战开发指南(数据恢复补充篇)(一)
【MySQL技术专题】「问题实战系列」深入探索和分析MySQL数据库的数据备份和恢复实战开发指南(数据恢复补充篇)
29 0
|
28天前
|
Cloud Native OLAP OLTP
如何看待云原生数据库一体化的技术趋势?
面对业务处理分析一体化,开发者需平衡OLTP和OLAP数据库需求。关键在于理解业务目标,选择适合的数据库:OLTP注重高并发、低延迟,如MySQL、PostgreSQL;OLAP侧重复杂查询和数据聚合,如Greenplum、ClickHouse。云原生数据库提供弹性扩展和容灾能力。数据同步、一致性、安全性和合规性也是重要考量因素。开发者应持续关注新技术,以适应不断变化的业务需求。