使用py-mysql2pgsql 简单实现mysql数据库迁移到pgsql

本文涉及的产品
全球加速 GA,每月750个小时 15CU
简介:

参考:https://pypi.python.org/pypi/py-mysql2pgsql


公司的有个项目,原先用的是MySQL数据库,现在要改成postgres。 于是搜了下,找到个py-mysql2pgsql工具。下面是笔记:


假设我们要把本机的mysql里面的gitlab_ci_production、gitlabhq_production 这2个库导入到本机的pgsql中(本地地址:192.168.2.100)


1、安装pgsql10

yum install https://download.postgresql.org/pub/repos/yum/10/redhat/rhel-6-x86_64/pgdg-centos10-10-1.noarch.rpm


yum install postgresql10 postgresql10-server

yum install  postgresql10-devel


service postgresql-10 initdb

chkconfig postgresql-10 on

service postgresql-10 start


修改绑定地址

vim /var/lib/pgsql/10/data/postgresql.conf

listen_addresses = '*'


添加客户端IP放行(生产环境不建议放行0.0.0.0/0 范围太大了)

vim pg_hba.conf  

host    all    all   0.0.0.0/0    md5


/etc/init.d/postgresql-10 restart



2、在pgsql里面创建用户及相关的库:

su - postgres

psql

create user gitlab with password '123456' ;

create database gitlab_ci_production;

create database gitlabhq_production;

alter database gitlab_ci_production owner  to gitlab;

alter database gitlabhq_production owner  to gitlab;



echo "export PATH=/usr/pgsql-10/bin/:$PATH" >> /etc/profile

source /etc/profile




3、安装py-mysql2pgsql

pip install py-mysql2pgsql 


4、编写导出文件的yml,如下:

[root@localhost ~]# cat convert.yml  内容如下:

# if a socket is specified we will use that

# if tcp is chosen you can use compression

mysql:

hostname: localhost

port: 3306

socket: /tmp/mysql.sock

username: root

password: 123456

database: gitlab_ci_production

compress: false

destination:

# if file is given, output goes to file, else postgres

file:

postgres:

  hostname: 192.168.2.100

  port: 5432

  username: gitlab

  password: 123456

  database: gitlab_ci_production


[root@localhost ~]# cat convert2.yml   内容如下:

# if a socket is specified we will use that 

# if tcp is chosen you can use compression

mysql:

hostname: localhost

port: 3306

socket: /tmp/mysql.sock

username: root

password: 123456

database: gitlabhq_production

compress: false

destination:

# if file is given, output goes to file, else postgres

file:

postgres:

  hostname: 192.168.2.100

  port: 5432

  username: gitlab

  password: 123456

  database: gitlabhq_production



5、执行导入数据的命令:

py-mysql2pgsql -v -f convert.yml

py-mysql2pgsql -v -f convert2.yml


6、稍后去pgsql下验证下数据是否正常


具体参考:https://pypi.python.org/pypi/py-mysql2pgsql










本文转自 lirulei90 51CTO博客,原文链接:http://blog.51cto.com/lee90/1975363,如需转载请自行联系原作者
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2天前
|
关系型数据库 MySQL 数据库连接
docker拉取MySQL后数据库连接失败解决方案
通过以上方法,可以解决Docker中拉取MySQL镜像后数据库连接失败的常见问题。关键步骤包括确保容器正确启动、配置正确的环境变量、合理设置网络和权限,以及检查主机防火墙设置等。通过逐步排查,可以快速定位并解决连接问题,确保MySQL服务的正常使用。
97 82
|
3天前
|
存储 SQL 关系型数据库
【YashanDB知识库】MySQL迁移至崖山char类型数据自动补空格问题
**简介**:在MySQL迁移到崖山环境时,若字段类型为char(2),而应用存储的数据仅为'0'或'1',查询时崖山会自动补空格。原因是mysql的sql_mode可能启用了PAD_CHAR_TO_FULL_LENGTH模式,导致保留CHAR类型尾随空格。解决方法是与应用确认数据需求,可将崖山环境中的char类型改为varchar类型以规避补空格问题,适用于所有版本。
|
10天前
|
SQL Oracle 关系型数据库
担心YashanDB异构数据库迁移踩“坑”?听听大咖们怎么说
文章围绕异构数据库迁移展开,探讨了避免数据丢失、保障数据完整性、注意兼容性、提升迁移效率、做好反向演练等问题。包括迁移前完整性检查与备份,YashanDB 从内核设计和配套工具保障数据,对兼容性进行大量测试,通过合理评估和技术手段提升迁移效率,以及处理回退等内容。
|
13天前
|
SQL Oracle 关系型数据库
迁移方案详解 | 使用YMP从异构数据库迁移到YashanDB
迁移方案详解 | 使用YMP从异构数据库迁移到YashanDB
|
5天前
|
消息中间件 缓存 NoSQL
缓存与数据库的一致性方案,Redis与Mysql一致性方案,大厂P8的终极方案(图解+秒懂+史上最全)
缓存与数据库的一致性方案,Redis与Mysql一致性方案,大厂P8的终极方案(图解+秒懂+史上最全)
|
10天前
|
Oracle 关系型数据库 网络安全
崖山异构数据库迁移利器YMP初体验-Oracle迁移YashanDB
文章是作者小草对崖山异构数据库迁移利器 YMP 的初体验分享,包括背景、YMP 简介、体验环境说明、YMP 部署(含安装前准备、安装、卸载、启动与停止)、数据迁移及遇到的问题与解决过程。重点介绍了 YMP 功能、部署的诸多细节和数据迁移流程,还提到了安装和迁移中遇到的问题及解决办法。
|
10天前
|
Oracle 关系型数据库 MySQL
使用崖山YMP 迁移 Oracle/MySQL 至YashanDB 23.2 验证测试
这篇文章是作者尚雷关于使用崖山YMP迁移Oracle/MySQL至YashanDB 23.2的验证测试分享。介绍了YMP的产品信息,包括架构、版本支持等,还详细阐述了外置库部署、YMP部署、访问YMP、数据源管理、任务管理(创建任务、迁移配置、离线迁移、校验初始化、一致性校验)及MySQL迁移的全过程。
|
10天前
|
SQL 关系型数据库 MySQL
MySQL生产环境迁移至YashanDB数据库深度体验
这篇文章是作者将 MySQL 生产环境迁移至 YashanDB 数据库的深度体验。介绍了 YashanDB 迁移平台 YMP 的产品相关信息、安装步骤、迁移中遇到的各种兼容问题及解决方案,最后总结了迁移体验,包括工具部署和操作特点,也指出功能有优化空间及暂不支持的部分,期待其不断优化。
|
21天前
|
监控 关系型数据库 MySQL
云数据库:从零到一,构建高可用MySQL集群
在互联网时代,数据成为企业核心资产,传统单机数据库难以满足高并发、高可用需求。云数据库通过弹性扩展、分布式架构等优势解决了这些问题,但也面临数据安全和性能优化挑战。本文介绍了如何从零开始构建高可用MySQL集群,涵盖选择云服务提供商、创建实例、配置高可用架构、数据备份恢复及性能优化等内容,并通过电商平台案例展示了具体应用。
|
24天前
|
SQL 数据建模 BI
【YashanDB 知识库】用 yasldr 配置 Bulkload 模式作单线程迁移 300G 的业务数据到分布式数据库,迁移任务频繁出错
问题描述 详细版本:YashanDB Server Enterprise Edition Release 23.2.4.100 x86_64 6db1237 影响范围: 离线数据迁移场景,影响业务数据入库。 外场将部分 NewCIS 的报表业务放到分布式数据库,验证 SQL 性能水平。 操作系统环境配置: 125G 内存 32C CPU 2T 的 HDD 磁盘 问题出现的步骤/操作: 1、部署崖山分布式数据库 1mm 1cn 3dn 单线启动 yasldr 数据迁移任务,设置 32 线程的 bulk load 模式 2、观察 yasldr.log 是否出现如下错