TFS数据迁移之sync_by_file

简介:

本文接上一篇文章,介绍了tfs 2.2.16版本下采用syn_by_file工具根据文件名来实现两套tfs系统间的数据迁移。测试的环境同上一篇文章一致。

 

一:清除上一次迁移结束后target上的数据

1
2
# /usr/local/tfs/bin/ssm -s 192.168.1.12:8108
show > block

wKioL1Q3egbTr_GnAAH3X6LvSOE672.jpg


1
2
3
4
5
6
# /usr/local/tfs/scripts/tfs stop_ds 1-3
  dataserver 1 exit SUCCESSFULLY 
  dataserver 2 exit SUCCESSFULLY 
  dataserver 3 exit SUCCESSFULLY 
  
# /usr/local/tfs/scripts/stfs clear 1-3

wKioL1Q3ejeD7ygcAARzI_BV2d4867.jpg


1
2
3
4
5
6
7
8
# /usr/local/tfs/scripts/stfs format 1-3
# /usr/local/tfs/scripts/tfs stop_ns
# /usr/local/tfs/scripts/tfs start_ns
  
# /usr/local/tfs/scripts/tfs start_ds 1-3
  dataserver 1 is up SUCCESSFULLY pid: 25002 
  dataserver 2 is up SUCCESSFULLY pid: 25001 
  dataserver 3 is up SUCCESSFULLY pid: 25000


二:重新格式化dataservermountpoint之后,target环境恢复到迁移前的初始状态

1
2
# /usr/local/tfs/bin/ssm -s 192.168.1.12:8108
show > block

wKioL1Q3enThV8KjAAMRvoJM33A182.jpg


三:准备文件名列表

这个列表在上一次迁移完后会在logs目录下产生sync_succ_file文件,复制文件内容出来即可。注意,文件名可能会有重复。

1
2
3
4
5
6
7
8
9
10
11
12
# tail -5 /tmp/file1.txt 
T1mtdTBmV41R4bAZ6K
T1mtdTBK_41R4bAZ6K
T1mtdTBKA41R4bAZ6K
T1mtdTBTd41R4bAZ6K
T1mtdTBg_41R4bAZ6K
  
# wc -l /tmp/file1.txt 
10730 /tmp/file1.txt
  
# uniq /tmp/file1.txt  |wc -l
9575


四:开始迁移

1
2
3
4
5
6
# /usr/local/tfs/bin/sync_by_file -s 192.168.1.229:8108 -d 192.168.1.12:8108 -f /tmp/file1.txt -m 20140926 -l error
-s 参数指定source的nameserver的ip和端口
-d参数指定target(destination)的nameserver的ip和端口
-f参数指定列表的文件名
-m参数指定文件的修改时间,文件修改时间在-m参数值之后的文件都会被忽略,不进行同步。
-l 参数代表日志级别,默认为info

wKioL1Q3es3wz0J_AAJARdQV5fw831.jpg


五:查看结果

1
2
# /usr/local/tfs/bin/ssm -s 192.168.1.12:8108
show > block

wKiom1Q3erzBiCs8AAI5XAz60wM918.jpg


六:验证

wKioL1Q3ex2C4sg7AAWZj5p3Yos769.jpg

本文转自斩月博客51CTO博客,原文链接http://blog.51cto.com/ylw6006/1562159如需转载请自行联系原作者

ylw6006
相关文章
|
Linux
HDFS文件上传异常分析:put: `test.txt': No such file or directory
HDFS文件上传异常分析:put: `test.txt': No such file or directory
5320 0
HDFS文件上传异常分析:put: `test.txt': No such file or directory
|
分布式计算 Java Hadoop
解决Hbase启动报错问题:No such file or directory!
应用场景 在Hbase搭建完之后,本想开开心心的启动Hbase,进行测试使用hbase,但是发现启动hbase的时候,报各种各样的错误,java_home,hbase,hadoop等找不到文件或目录,no such ...
3486 0
|
10月前
|
分布式计算 Hadoop 程序员
Hadoop运行报ERROR: Attempting to operate on hdfs as root或者HDFS_ZKFC_USER defined错误的解决方法
Hadoop运行报ERROR: Attempting to operate on hdfs as root或者HDFS_ZKFC_USER defined错误的解决方法
|
分布式计算 Hadoop Linux
Hadoop回收站及fs.trash参数详解
Linux系统里,个人觉得最大的不方便之一就是没有回收站的概念。rm -rf很容易造成极大的损失。而在Hadoop或者说HDFS里面,有trash(回收站)的概念,可以使得数据被误删以后,还可以找回来。 Hadoop里的trash选项默认是关闭的,所以如果要生效,需要提前将trash选项打开,修改conf里的core-site.xml即可,下面我们测试下开启前后的区别:
227 0
|
SQL Oracle 关系型数据库
xDB Replication Server - PostgreSQL, Oracle, SQL Server, PPAS 全量、增量(redo log based, or trigger based)同步(支持single-master, mult-master同步, 支持DDL)
xDB Replication Server - PostgreSQL, Oracle, SQL Server, PPAS 全量、增量(redo log based, or trigger based)同步(支持single-master, mult-master同步, 支持DDL)
773 0
|
监控 Linux 网络安全
远程文件同步详解(Remote File Sync)
1. 远程文件同步的常见方式: 1、cron + rsync 优点: 简单 缺点:定时执行,实时性比较差;另外,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输。如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的。
3037 0
|
监控 应用服务中间件 nginx