Deepgreen & Greenplum DBA小白普及课之三(备份问题解答)

简介: 不积跬步无以至千里,要想成为一名合格的数据库管理员,首先应该具备扎实的基础知识及问题处理能力。本文参考Pivotal官方FAQ,对在管理Deepgreen & Greenplum时经常会遇到的问题提出解决思路/答案,本篇主要讲备份方面的问题。
不积跬步无以至千里,要想成为一名合格的数据库管理员,首先应该具备扎实的基础知识及问题处理能力。本文参考Pivotal官方FAQ,对在管理Deepgreen & Greenplum时经常会遇到的问题提出解决思路/答案,本篇主要讲备份方面的问题。希望对大家有所帮助,如果有朋友有更多的问题分享,请留言,我将一并整理。

1.简单描述一下Deepgreen & Greenplum的备份架构?
当我们执行全库备份操作时,后台进行了如下操作:
  • 检查备份命令语法
  • 检查备份目录是否存在,如果不存在便创建目录
  • 检查备份文件存放目录大小是否能够放下备份文件
  • 如果上面三条都满足,紧接着开始备份数据库
  • 在pg_class上唤起排它锁,阻止DDL操作和另外的备份动作
  • 一旦DDL语句备份完成,在所有用户表上唤起共享锁
  • pg_class上的排它锁释放
  • 备份请求被下发到集群中的所有Segment节点
  • 备份请求开始并行备份各个Segment的数据
  • 备份完成后,请求和用户表上的锁都被释放
  • 备份完成
2.简单描述一下Deepgreen & Greenplum增量备份的架构?
当我们执行增量备份操作时,后台进行了如下操作:
  • 每次执行数据库备份时,gpcrondump工具为AO/CO表创建状态文件
  • 这些状态文件用来记录数据库中AO/CO表的元组/行的数量
  • 这些状态文件也记录了这些表的操作元数据(truncate,alter,etc)
  • 状态文件不存储heap表的相关信息,因为每次增量备份都备份所有heap表数据
  • 当我们执行增量备份时,gpcrondump以上次生成的状态文件为准,去对比每一个表的变化
  • 如果某张表自上次备份后状态有变化,就去备份这部分变化数据
  • 以上步骤只对AO和CO表备份试用
  • AO-Append-optimized,CO-Column-oriented
3.数据库提供哪些备份和恢复工具?
主要分为以下四种,具体试用方法请参考官方文档:
  • gpcrondump/gpdbrestore
  • gp_dump/gp_restore
  • pg_dump/pg_restore
  • copy..to../copy..from..
4.上面提到的这几种工具在什么情境下使用?
  • gpcrondump/gpdbrestore - 用于并行备份或恢复,可与Linux定时任务配合使用
  • gp_dump/gp_restore - 用于并行备份或恢复
  • pg_dump/pg_restore - 用于非并行备份或恢复,少量数据备份
  • copy..to../copy..from.. - 用于非并行备份或恢复,多用于导出/导入平面数据文件,例如csv
5.如何备份获得一个表的DDL语句?
可以使用pg_dump导出,例如:
pg_dump  -t njonna.accounts -s -f ddl_accounts.sql

Where:

-f  ddl_accounts.sql is output file.
-t  njonna.accounts is table name with schema njonna.
-s  dump only schema no data

6.gpcrondump和gp_dump有什么不同?
  • gpcrondump在gp_dump基础上包装而成,可以直接调用,也可以在crontab定时任务中调用。
7. 如何备份所有数据库的schema?
使用pg_dumpall工具可以把所有数据库的信息导出来,其中也包含资源队列和角色,导出所有数据库的schema可以用下面例句:
pg_dumpall --gp-syntax --schema-only > db_dump.sql

8.如何复制一个数据库?
下面命令可以创建一个数据库的全复制:
CREATE DATABASE new_dbname TEMPLATE old_dbname;

9.如何在Linux定时任务中配置一个定期备份?
gpcrondump工具是gp_dump的封装,可以与crontab定时任务配合使用。下面语句展示了一项每天凌晨0点1分执行一次备份的例子,执行前注意初始化数据库的环境变量:
source /home/gpadmin/.bashrc
01 0 * * * gpadmin gpcrondump -x test -c -g -G -a -q >> gp_test.log

10.gp_dump和pg_dump的不同是什么?
  • pg_dump/pg_dumpall可以从Deepgreen或者Greenplum数据库迁移数据到其他类型的数据库,如postgresql。他们在Master上非并行的执行并生成一个导出文件,不会涉及到Segment备份动作。他们生成的数据文件不能被gp_restore使用。
  • gp_dump和gpcrondump不备份全局对象(资源队列、角色等)。这些对象必须使用pg_dumpall来备份。

目录
相关文章
|
5月前
|
运维 关系型数据库 MySQL
阿里大牛的595页MySQL笔记,透彻即系数据库、架构与运维
数据库运维的变革,经历从手工造到脚本化、系统化、平台化、智能化的转变,逐步实现DBA对数据库的规范化、自动化、自助化、可视化、智能化、服务化管理,从而保障数据库的安全、稳定、高效运行。
|
10月前
|
SQL 运维 NoSQL
阿里大牛撰写"星耀级"MySQL DBA工作笔记!颠覆我对数据库的认知
MySQL是开源数据库方向的典型代表,它拥有成熟的生态体系,同时在可靠性、性能、易用性方面表现出色,它的发展历程见证了互联网的兴衰与成长。 在 DeveloperWeek 上曾发起一个调查,超过 3/5 的受访者使用 SQL,其中MySQL 以 38.9% 的使用率高居榜首,其后依次是 MongoDB(24.6%)、PostgreSQL(17.4%)、Redis(8.4%)和 Cassandra(3.0%)。毫无疑问,以MySQL为主的开源技术生态正变得越来越流行。同样的,对我们掌握MySQL也迫在眉睫。那么,接下来,就让小轩带领大家来深入了解MySQL吧!
|
存储 关系型数据库 数据库
从小白到专家 PostgreSQL技术大讲堂 - Part 5:PG数据库结构
从小白到专家 PostgreSQL技术大讲堂 - Part 5:PG数据库结构
254 0
从小白到专家 PostgreSQL技术大讲堂 - Part 5:PG数据库结构
|
SQL Cloud Native 关系型数据库
超强讲师阵容!7天0元带你学完MySQL基础架构、SQL性能调优、MGR!
云数据库RDS MySQL从入门到高阶训练营开始免费报名啦! 大咖带你学习云数据库RDS MySQL,从入门基础架构和性能调优,到高阶MGR和云原生serverless。
1528 10
超强讲师阵容!7天0元带你学完MySQL基础架构、SQL性能调优、MGR!
|
弹性计算 关系型数据库 MySQL
“冬季实战营第三期:MySQL数据库进阶实战”场景体验实验小结
冬季实战营第三期,通过场景实际操作,了解MySQL数据库操作。
140 0
“冬季实战营第三期:MySQL数据库进阶实战”场景体验实验小结
|
SQL 弹性计算 关系型数据库
|
弹性计算 关系型数据库 MySQL
冬季实战营第三期:MySQL数据库进阶实战 记录
第三期是熟悉MySQL数据库的基本操作,包括基础搭建及使用
125 0
|
SQL 关系型数据库 MySQL
|
SQL 弹性计算 关系型数据库
冬季实战营第三期:MySQL数据库进阶实战(体验报告)
2月14日 动手实战-MySQL数据库快速部署实践 本实验提供一个Linux系统。首先,安装mysql;然后,执行mysql的常用操作;最后,学习基本的SQL语句。
111 0
|
SQL 弹性计算 运维
冬季实战营第三期:MySQL数据库进阶实战之数据库上云实战
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。