转义字符导致sqlite迁移至mysql少了15w数据

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
日志服务 SLS,月写入数据量 50GB 1个月
简介:

Sqlite迁移至mysql

一、             准备工作

相关sqlite语句 

进入sqlite数据库,如数据库名为mobi.db

[root@localhost ~]# sqlite3 mobi.db

SQLite version 3.6.23.1

Enter ".help" for instructions

Enter SQL statements terminated with a ";"

1)查看数据库

sqlite> .database

seq  name             file                                                     

---  ---------------  ----------------------------------------------------------

0    main             /root/mobi.dbbak                                          

2)查看库里的表

sqlite> .tables

account_alias  devprop        selffund       userdevbind 

accountmap     misc           selfstock      yyblist     

appupdate      qs_qs          sync_queue     yyblist2 

3)查看表结构

sqlite> .schema devprop

CREATE TABLE devprop(

devid varchar(48) primary key,

devprop text,

checksum varchar(16),

update_time varchar(16)

);

 

二、sqlite dump出需要迁移的数据库。

把当前数据库导出文件名为mobi.sql

sqlite>.output mobi.sql

sqlite>.dump

 

三、遇到的第一个问题,mysqlsqlite的表结构新,多了字段

导入mysql数据库语句,并做相关修改

注意:如果你是把最新的mysql表创建语句导入后,请检查该数据库里的表与sqlite里相同的表的字段是否一致,如果不一致先删除掉多余的字段后导数据,删除字段语句:alter table devprop drop column flag;

导完数据后,再加上该字段即可

 

四、遇到的第二个问题,mysql导入里不允许表名以“”引住

[root@localhost ~]# vi  mobi.sql

1)把里面的CREATE TABLE相关语句查找出来去掉

2)删除INTOVALUES之间的引号

sed -i 's/INTO "/INTO /g' mobi.sql && sed -i 's/" VALUES/ VALUES/g' mobi.sql

五、遇到的第三个问题,由于之前的程序开发不严谨居然用户里有转义字符(

INSERT INTO selfstock VALUES('身了Uk\','','1266411514',NULL);

在未处理这\特殊字符之前,mysqlcount出来的selfstock数与sqlite对比少了15w行,由于用户量过大这种错误提示较为难找,我的对比方法是先count看下两数据量是不是一致

不一致时

a)       mysql的日志开启出来(log_bin=mysql-bin开启日志)

b)       过滤相关selfstock 表数据

msyql过滤

mysqlbinlog /var/lib/mysql/mysql-bin.000001 grep selfstock > selfstock.mysql 后面生成的日志追加至selfstock.mysql

   sqlite过滤

grep selfstock mobi.sql > selfstock.sqlite

对比相关数据

diff selfstock.sqlite selfstock.mysql >diff.sql

1.     对比时使用到的shell正则:g/^$/d vi里去除空行,:1,$s/[0-9][0-9a-z]//g vi里去掉diff不必要的数据

mysqlshell情况下导入时\这个转义字符时,须先将其转义:

sed -i 's#\\#\\\\#g' mobi.sql

由于转义字符的原因对比少了15w数据,数据量过大检查并未发现明显错误,于是采用上面的对比方法找出,由于这个问题的出现,刚开始一直以为是乱码问题,搞得莫名其妙。

查看相关数据差异数据,重置mysql日志reset master,查看mysql日志名show binary logs

六、第四个问题mysql插入用户时大小写忽略

由于导出mysql在运行的表结构出来的时候不会保存控制表内容大小写

在建表时时候加以标识

CREATE TABLE devprop(

devid varchar(48) binary primary key,

devprop text,

checksum varchar(16),

update_time varchar(16)

);

 

由于大小写的原因少了70多条数据

 

七、第五个问题,末尾空格用户

上面的问题都解决了之后,发现用户还是少了四条,实在不解于是再次采用对比方法,发现有用户是重名,对于mysql来说,即前面的字符都一样但有个用户后面多了一个或多个空格如下:

INSERT INTO misc VALUES('18970171896 ','','1267243148',NULL);

INSERT INTO misc VALUES('18970171896','','1269091519',NULL);

由于此用户为不合法用户也就没有导入了。

 

 

补充知识及参考资料:

lower_case_table_names=1  mysql默认表名区分大小写,列名不区分,默认值为1

http://firefore.com/2008/01/lower-case-table-names.html

http://www.linuxpig.com/2010/08/mysqlchaxunbuqufendaxiaoxiewentifenxihejiejue/

 

注意事项:需要把使用sqlite数据库的相关程序停止掉

[root@hxmobi-dell mobiauth]#ps aux|grep mobia

root      6303  0.0  0.0   4572  1008 ?        S    Nov20   0:00 sh /root/mobile/mobiauth/mobia.sh

root     16361  0.5  1.4 127884 58060 ?        Sl   Nov22   5:31 obj/mobia -abc

root     19997  0.0  0.0   4004   688 pts/1    S+   10:42   0:00 grep mobia 

[root@hxmobi-dell mobiauth]#kill -9  6303 16361

[root@hxmobi-dell db]# cd /root/mobile/mobiauth/config/db

[root@hxmobi-dell db]# cp mobi.ab mobi.ab-2010-11-23

拷贝完后把原sqlite认证程序启动。让用户可以登录,如果认证程序不停掉操作sqlite数据库,会导致数据损坏问题



本文转自 qwjhq 51CTO博客,原文链接:http://blog.51cto.com/bingdian/420997

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
【YashanDB知识库】Kettle迁移MySQL到YashanDB
本文介绍了使用Kettle将MySQL数据库中的中文数据迁移到YashanDB的方法,解决因YMP不支持Latin1字符集导致的乱码问题。提供了Windows和Linux两种环境下的操作步骤,包括配置JAVA环境、解压作业包、设置数据库连接(MySQLInput与YashanOutput)、修改表列表配置文件及运行迁移任务。Windows环境支持图形界面便于调试,Linux环境网络性能更优。通过详细的操作指南,确保数据迁移成功并可重试无冲突。
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB
本文探讨了在使用YMP 23.2.1.3迁移MySQL Server字符集为latin1的中文数据至YashanDB时出现乱码的问题。问题根源在于MySQL latin1字符集存放的是实际utf8编码的数据,而YMP尚未支持此类场景。文章提供了两种解决方法:一是通过DBeaver直接迁移表数据;二是将MySQL表数据转换为Insert语句后手动插入YashanDB。同时指出,这两种方法适合单张表迁移,多表迁移可能存在兼容性问题,建议对问题表单独处理。
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB
【YashanDB知识库】YMP从mysql迁移到崖山,报错:服务器错误
【YashanDB知识库】YMP从mysql迁移到崖山,报错:服务器错误
【YashanDB知识库】YMP从mysql迁移到崖山,报错:服务器错误
【YashanDB知识库】YMP从mysql迁移到崖山,报错:服务器错误
【YashanDB知识库】YMP从mysql迁移到崖山,报错:服务器错误
Redis和Mysql如何保证数据⼀致?
1. 先更新Mysql,再更新Redis,如果更新Redis失败,可能仍然不⼀致 2. 先删除Redis缓存数据,再更新Mysql,再次查询的时候在将数据添加到缓存中 这种⽅案能解决1 ⽅案的问题,但是在⾼并发下性能较低,⽽且仍然会出现数据不⼀致的问题,⽐如线程1删除了 Redis缓存数据,正在更新Mysql,此时另外⼀个查询再查询,那么就会把Mysql中⽼数据⼜查到 Redis中 1. 使用MQ异步同步, 保证数据的最终一致性 我们项目中会根据业务情况 , 使用不同的方案来解决Redis和Mysql的一致性问题 : 1. 对于一些一致性要求不高的场景 , 不做处理例如 : 用户行为数据 ,
【YashanDB知识库】MySQL迁移至崖山char类型数据自动补空格问题
**简介**:在MySQL迁移到崖山环境时,若字段类型为char(2),而应用存储的数据仅为'0'或'1',查询时崖山会自动补空格。原因是mysql的sql_mode可能启用了PAD_CHAR_TO_FULL_LENGTH模式,导致保留CHAR类型尾随空格。解决方法是与应用确认数据需求,可将崖山环境中的char类型改为varchar类型以规避补空格问题,适用于所有版本。
E-Mapreduce如何处理RDS的数据
目前网站的一些业务数据存在了数据库中,这些数据往往需要做进一步的分析,如:需要跟一些日志数据关联分析,或者需要进行一些如机器学习的分析。在阿里云上,目前E-Mapreduce可以满足这类进一步分析的需求。
4995 0
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
从 MySQL 到时序数据库 TDengine:Zendure 如何实现高效储能数据管理?
TDengine 助力广州疆海科技有限公司高效完成储能业务的数据分析任务,轻松应对海量功率、电能及输入输出数据的实时统计与分析,并以接近 1 : 20 的数据文件压缩率大幅降低存储成本。此外,taosX 强大的 transform 功能帮助用户完成原始数据的清洗和结构优化,而其零代码迁移能力更实现了历史数据从 TDengine OSS 与 MySQL 到 TDengine 企业版的平滑迁移,全面提升了企业的数据管理效率。本文将详细解读这一实践案例。
33 0
docker拉取MySQL后数据库连接失败解决方案
通过以上方法,可以解决Docker中拉取MySQL镜像后数据库连接失败的常见问题。关键步骤包括确保容器正确启动、配置正确的环境变量、合理设置网络和权限,以及检查主机防火墙设置等。通过逐步排查,可以快速定位并解决连接问题,确保MySQL服务的正常使用。
166 82
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等