开源数据库企业应用的探索与实践——云栖技术之旅第1期精彩回顾

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
云数据库 RDS MySQL Serverless,价值2615元额度,1个月
简介: PostgreSQL是一种对象关系型数据库管理系统,这个起源于伯克利(BSD)的数据库研究计划目前已经衍生成一项国际开发项目,并且拥有非常广泛的用户。PostgreSQL被誉为目前功能最强大、特性最丰富和最先进的开源数据库系统。   PostgreSQL支持大部分SQL标准并且提供了许多其

274b9b6151c8ac2f71bdc6a3c0a1485177679ce6


PostgreSQL是一种对象关系型数据库管理系统,这个起源于伯克利(BSD)的数据库研究计划目前已经衍生成一项国际开发项目,并且拥有非常广泛的用户。PostgreSQL被誉为目前功能最强大、特性最丰富和最先进的开源数据库系统。  

PostgreSQL支持大部分SQL标准并且提供了许多其他现代特性,比如复杂查询、外键、触发器、视图、事务完整性、MVCC等,此外还可以通过许多方法进行特性扩展,一些特性甚至是当今许多商业数据库的前身。 

9月24日,由云栖社区与PostgreSQL中文社区联合主办“云栖技术之旅·开源数据库企业应用实践”专场沙龙在北京阿里中心望京A座举办,PostgreSQL爱好者齐聚,一起探讨最先进的开源数据库的魅力。 


PostgreSQL在互联网企业中的实战


PostgreSQL中国社区核心成员张文升带来了《PostgreSQL在互联网企业中的实战》主题分享。

张文升,目前是探探DBA,负责探探的数据库架构、运维和调优的工作。曾就职于去哪儿网,负责PostgreSQL运维工作。因为对PostgreSQL热开,投入了PostgreSQL开源社区的怀抱,成为核心成员与志愿者。

张文升认为,大家对PostgreSQL还是有很多误解,网络上有很多文章,可能是年代太久远,也可能是其它原因,都认为PostgreSQL只适合做OLAP,不适合在互联网的应用。数据分析是PostgreSQL的强项,多表join、丰富的FDW、窗口函数等在数据分析都有很大的优势。事实上,PostgreSQL在互联网企业应用中也非常好用,做OLTP应用,PG无论在可靠性和性能方面都不输其它任何关系型数据库,包括商业和开源的关系型数据库。去哪网就是国内PostgreSQL最大的用户之一。   

OLTP(联机事务处理)的特点是:高并发,小事务;查询多、写入多;更新多,删除少。对于此类场景的常规解决办法是: 

  • 频繁更新的数据通过表空间放到内存或SSD
  • xlog建议放在单独的存储设备(对于PCI-e卡则没有必要)
  • 拆表(表拆分的好处是可以分布到不同的表空间,autovacuum颗粒度更小,prevent wrap的概率变小,维护更加方便)
  • 拆库(业务数据和日志数据分离,各业务子模块拆分,按用户ID 2^n取模拆分)
  • 尽量精简在线数据
  • 如果磁盘性能比较好,可以将块大小调大至32k

关于PostgreSQL的性能调优,还有很多细致的工作要做,比如可以从操作系统、数据库系统部署、全局配置参数、索引等等方面去做调整,而开发人员可以从应用架构及SQL语句等细节着手进行调优工作。 

此外,PostgreSQL作OLTP应用时,需要使用连接池。每个PostgreSQL进程在工作时会分配1个CPU核使用,因此不适合直接与高并发的短连接应用直接连接。对于互联网高并发场景,加上pgbouncer或pgpool连接池是比较好的解决办法,其中pgbouncer比较轻量实用,维护难度低。 0313c077d6fa2fa05a72330c88647fd1818a72d5

Postgresql是一个数据库内核,比Oracle少了很多功能,但是这些功能都可以通过插件来解决。对于高可用方案,可以通过Pacemaker+Corosync+PostgreSQL Replication来实现。  251d414cd592e128b47976028c9632e2c99a18e0

此外,关于高可用方案、安全、性能调优、全文检索方面的内容,请看演讲PPT和视频回放;

PPT:https://yq.aliyun.com/attachment/download/?id=845

视频回放:https://yq.aliyun.com/edu/lesson/play/370

 

Sybase迁移PostgreSQL经验分享

 

神州飞象高级数据库工程师赖伟带来了Sybase迁移PostgreSQL的项目经验分享,赖伟具有多年关系数据库运维经验,擅长PostgreSQL的调优和运维,具有丰富的数据库开发和异种数据库迁移经验。 

关于迁移的方法,赖伟给出了如下建议: 

  • 迁移主导:在不改变原有架构的基础上进行迁移
  • 测试驱动:迁移之前进行评估、测试
  • 标准化:通过文档将不同的迁移方法进行统一化,标准化
  • 自动化:采用自动化工具来进行迁移

迁移的流程如下:

 7aef28b38a610033b15865e5611c782da3d86159


对于Sybase数据库迁移至PostgreSQL,评估和匹配情况可见下表。 

 71a9ff1f972e00769c8ff8d2dde6104674fec96d

  

迁移具体方法请见演讲PPT和现场视频回放。 

PPT:https://yq.aliyun.com/attachment/download/?id=846

视频回放:https://yq.aliyun.com/edu/lesson/play/372


PostgreSQL优化器浅析 


在使用PostgreSQL数据库过程中,对SQL调优最常用的手段是使用explain查看执行计划,很多时候只关注执行计划的结果而未深入了解执行计划是如何生成的。优化器作为数据库核心功能之一,也是数据库的“大脑”,理解优化器将有助于我们更好地优化SQL。 

在本次沙龙上,阿里资深开发工程师范孝剑(花名康贤)带来了PostgreSQL优化器原理相关的分享。 

SQL处理过程如下: 

06353c4ad1365f68adf34ce0cf81a30de4fe7780

 在PG数据库中,对于DDL语句无需进行优化,到utility模块处理,对于DML语句需要到优化器中处理,一个用户连接从接收SQL到执行的流程如下:

1c8e9fdf796280a17d21d9127500ba40712a6c5a

以下是几种常见的PostgreSQL优化器对SQL优化的方法: 

  • 查询重写,主要目的是为了消除view、rule等,
  • 提升子链,目标是将IN和exists子句递归提升。
  • 提升子查询
  • 化简条件
  • 外连接消除(left/right/full join)
  • 条件下推(目的为了连接前,元组数组尽量少)
  • 语义优化
  • MIN/MAX优化
  • order by优化
  • distinct优化
  • 集合操作优化

以上这些方法更着重于SQL逻辑优化,也就是尽量对SQL进行等价或者推倒变换,以达到更有的执行计划。此外,PostgreSQL优化器还包括物理查询优化,比如单表扫描方式、多表组合方式、多表组合顺序等。 

关于PostgreSQL优化器原理的讲解请看演讲PPT和视频回放。 

PPT:https://yq.aliyun.com/attachment/download/?id=847

演讲视频回放:https://yq.aliyun.com/edu/lesson/play/376


Greenplum在听云的大数据实时分析实践


Greenplum是基于PostgreSQL开发的一个关系型数据库,它的特点主要就是查询速度快,数据装载速度快,批量DML处理快,而且性能可以随着硬件的添加呈线性增加,拥有非常良好的可扩展性。因此,它主要适用于面向分析的应用。比如构建企业级ODS/EDW或者数据集市等等。 

在本次沙龙上,听云平台后端数据库工程师周金可为大家介绍了使用Greenplum解决听云实际业务痛点的一些心得。

周金可加入听云时,恰好是业务快速增长的阶段,听云后端的应用以及数据库经受了比较大的考验。去年大多数时间是在做扩容,MySQL集群由最开始的数台实例扩展到现在的数百台实例。

听云数据库经历了由MySQL单机到MySQL分库分表分布式架构的演变,后来数据量继续膨胀,又使用压缩引擎对数据进行压缩。某个模块的单表数据量达百亿级,MySQL Shared方式已经无法保证查询性能,所以听云采用了GreenPlum MPP的方案来解决性能问题。 

从下图中可以看到,采用GreenPlum MPP后性能提升将近三个数量级,检索一天的数据量查询时间仅有90多ms。

  1ffc2cd55cf7f15dfbfb6a85b4af396fa7f31a37

  

关于Greenplum在听云的具体实践,请看演讲PPT和视频回放。 

PPT:https://yq.aliyun.com/attachment/download/?id=849

视频回放:https://yq.aliyun.com/edu/lesson/play/374


Greenplum分片案例分析 


在使用Greenplum并行过程中会遇到很多问题,其中最重要的一个问题就是分片。本次沙龙最后,阿里资深开发工程师窦贤明(花名执白)介绍了Greenplum分片的原理和分片案例的分析。 

可以通过下面几张图来了解Greenplum分片的原理。 

并行导入

e8ecf527d742d534f70057fdebb2b69faacf1aca

 

复制、插入 

221f5de54019739d47ec5fac5e3d0caf5166dadd

查询  a6fb510354705f5bba5bf67d10d69d86debcf9d6

执白还介绍了Greenplum分片的一些原则,比如大表Join运算的关联字段、防止数据倾斜、避免条件字段等,具体的分片方法请看演讲PPT和视频回放。 

PPT:https://yq.aliyun.com/attachment/download/?id=850

视频回放:https://yq.aliyun.com/edu/lesson/play/378


关于云栖技术之旅


云栖技术之旅,是由阿里云云栖社区主办,整合了阿里集团内部多个领域顶级技术专家与技术资源,通过线下技术培训的方式,为热爱技术的朋友提供一个交流&分享技术观点、碰撞精彩火花的平台。

更多详情:https://yq.aliyun.com/activity/114


相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
16天前
|
存储 SQL 数据库
数据库设计案例:电商系统数据库设计实践
数据库设计案例:电商系统数据库设计实践
46 1
|
1天前
|
关系型数据库 分布式数据库 数据库
|
2天前
|
存储 机器学习/深度学习 人工智能
RAG:AI大模型联合向量数据库和 Llama-index,助力检索增强生成技术
RAG:AI大模型联合向量数据库和 Llama-index,助力检索增强生成技术
RAG:AI大模型联合向量数据库和 Llama-index,助力检索增强生成技术
|
3天前
|
存储 监控 Apache
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中,Doris 显示出显著的性能优势,成功应对了数据增长带来的挑战。
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
|
9天前
|
存储 算法 数据库
矢量数据库在图像识别与检索中的应用实践
【4月更文挑战第30天】本文探讨了矢量数据库在图像识别与检索中的应用,通过特征提取(如SIFT、SURF)、编码和相似度度量实现快速识别。在图像检索流程中,经过预处理、特征提取和编码后,矢量数据库用于查询相似特征,排序后展示给用户。实际案例显示,矢量数据库能提升电商平台的商品图像搜索效率和用户体验。随着技术发展,这一领域应用前景广阔。
|
9天前
|
Cloud Native NoSQL 数据管理
现代化数据管理:面向未来的数据库技术发展
传统数据库技术已经不能满足当今大数据时代的需求,现代化数据库技术的发展成为了当务之急。本文将探讨面向未来的数据库技术发展方向,包括云原生数据库、图数据库、区块链技术在数据库领域的应用以及数据库安全性等方面。
|
10天前
|
Java 关系型数据库 MySQL
【JDBC编程】基于MySql的Java应用程序中访问数据库与交互数据的技术
【JDBC编程】基于MySql的Java应用程序中访问数据库与交互数据的技术
|
10天前
|
存储 安全 数据管理
新一代数据库技术:融合区块链与分布式存储的未来趋势
传统数据库技术在数据安全性和分布式处理方面存在局限,而新一代数据库技术正日益融合区块链和分布式存储,为数据管理带来革命性变革。本文探讨了这一趋势的发展方向,以及如何利用新技术实现更高效的数据管理与保护。
|
13天前
|
存储 安全 数据管理
新一代数据库技术:融合区块链的分布式存储系统
传统数据库技术在面对日益增长的数据量和复杂的数据管理需求时显现出局限性。本文介绍了一种新一代数据库技术:融合区块链的分布式存储系统。通过将区块链技术与传统数据库相结合,实现了数据的分布式存储、安全性和透明度,以及去中心化的特性。这一技术的应用将极大地推动数据库系统的发展,为数据管理带来全新的解决方案。
|
13天前
|
存储 安全 数据管理
新一代数据库技术:融合区块链的分布式数据存储系统
传统数据库系统面临着数据安全性、可信度和去中心化等挑战,而区块链技术的兴起为解决这些问题提供了新的思路。本文介绍了一种新一代数据库技术,将区块链技术与传统的分布式数据存储系统相融合,实现了更高水平的数据安全性和可信度,以及去中心化的优势。通过结合区块链的不可篡改性和分布式存储系统的高性能,这一新型数据库技术将在未来的数据管理领域发挥重要作用。