oss迁移以及校验

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: oss的数据迁移以及一致性校验

oss迁移我采用的是阿里提供的ossimport2工具
迁移采用的方式是单机迁移的方式,这种工具配置简单,迁移效率高

ossimport2工具配置文件结构大概如下:
├── bin
│ └── ossimport2.jar 启动服务需要的jar
├── conf 配置文件位置
│ ├── local_job1.cfg 每一个cfg可以代表一个bucket
│ ├── local_job.cfg
│ └── sys.properties 配置任务运行的并发度以及资源分配
├── console.bat
├── console.sh
├── import.bat
├── import.sh 系统的导入脚本,不需要更改

工具中需要更改的文件是local_job.cfg:
其实在下载ossimport之后,里面的readme 会有详尽的配置项说明,此处我就不赘述了

(ossimport2支持多种源端迁移 此处是以源端目标端都为oss为例)

#源端的类型
srcType=oss

#源access key
srcAccessKey=xxxx
#源secrect key 
srcSecretKey=xxxx
#源endpoint,
srcDomain=http://xxxx
#源bucket名字 
srcBucket=xxx

#目的 access key
destAccessKey=xxx

#目的 secret key
destSecretKey=xxx

#目的endpoint(不要加上bucket的名字)
destDomain=http://xxx

##目的bucket,不需要加上"/"
destBucket=xxxx


#job名字,每个任务唯一,不同的bucket起不同的名字
jobName=local_testxx

sys.properties
一般不需要更改

命令行查看oss内容

ossutil

在oss帮助文档界面下载:ossutil

./ossutil64 ls   --config-file ossconfigfile oss://bucketname```  


# 启动

**声明变量**

export work_dir=/dir of ossimport



**启动进程**


nohup java  -jar  ${work_dir}/bin/ossimport2.jar  -c ${work_dir}/conf/sys.properties  start > ${work_dir}/logs/ossimport2.log 2>&1 &


**启动任务**

java -jar $work_dir/bin/ossimport2.jar -c $work_dir/conf/sys.properties submit $work_dir/conf/local_job1.cfg

java -jar $work_dir/bin/ossimport2.jar -c $work_dir/conf/sys.properties submit $work_dir/conf/local_job2.cfg (多个bucket多个cfg文件)






查看任务状态


java -jar $work_dir/bin/ossimport2.jar -c $work_dir/conf/sys.properties  stat  detail


#校验
> 迁移后需要对源端目标端的迁移数据进行校验,从数量以及内容两方面进行比对校验,确保迁移的一致性


文件数校验

./ossutil64 ls oss://bucketname --config-file ./ossconfigfile | sed '/^Last/d' | grep Object >count.txt`

内容校验比对
oss内容校验采用比对etag的方式
获取etag的方式如下:

./ossutil64 ls oss://bucketname --config-file ./ossconfigfile | sed '/^Last/d' | awk '{print $7}'  >etag.txt

数据量校验

./ossutil64 ls oss://bucketname --config-file ./ossconfigfile | sed '/^Last/d' | awk 'BEGIN {size=0} {size=size+$5} END{print "endsizeis",size/1024/1024,"M"}' >count_data.txt

校验中使用的ossconfigfile其实就是oss的鉴权信息,内容如下:

[Credentials]
language=EN
endpoint=http://ossxxxx.com
accessKeyID=xxxxx
accessKeySecret=xxxx
相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
8月前
|
Java 对象存储 流计算
阿里云ElasticSearch迁移-基于OSS全增量快照
阿里云ElasticSearch迁移-基于OSS全增量快照
阿里云ElasticSearch迁移-基于OSS全增量快照
|
存储 Linux API
如何迁移 OSS 的文件_3|学习笔记
快速学习如何迁移 OSS 的文件_3
1255 0
|
API 开发工具 对象存储
如何迁移 OSS 的文件_2|学习笔记
快速学习如何迁移 OSS 的文件_2
170 0
|
Java 应用服务中间件 API
如何迁移 OSS 的文件_1|学习笔记
快速学习如何迁移 OSS 的文件_1
456 0
|
Linux Go 对象存储
ossutil迁移日志文件至阿里云OSS
ossutil支持在Windows、Linux、macOS等系统中运行,您可以根据实际环境下载和安装合适的版本。
551 0
|
SQL 分布式计算 关系型数据库
Hive 数仓迁移 JindoFS/OSS 数据湖最佳实践
Hive 数仓是大多数迁移客户都会遇到的场景。在迁移过程中,不建议同时在新集群进行业务升级(比如从 Hive on MR 迁移到 Hive on Tez 或 Spark SQL等),这些业务升级可以在迁移完成后进行。1. 元数据同步Hive 元数据是对于 Hive 表来说非常关键,除了表结构信息,里面还记录着 Hive 表与底层文件系统的关联关系,许多上层服务都依赖 Hive 元数据提供服务。a.
569 0
|
存储 Web App开发 容灾
阿里巴巴集团上云之 TFS 迁移 OSS 技术白皮书
1、集团使用阿里云对象存储 OSS 概述双十一在逛淘宝、天猫时最关注的通常是价格,比如这件衣服打几折,那里可以领到红包或优惠券,另外的关注点就是商品。商品图片是给消费者最直观的印象,直接影响店铺商品的销量。那这些海量的图片到底是存储在哪里呢?答案就是阿里云对象存储 OSS。OSS 是阿里集团非结构化数据的统一存储系统,为天猫、淘宝、聚划算、飞猪、饿了么、UC、优酷、小微金服、钉钉、菜鸟、AliEx
707 0
阿里巴巴集团上云之 TFS 迁移 OSS 技术白皮书
|
弹性计算 Linux Go
阿里云ecs服务器之间大文件迁移利用阿里云oss通过内网传输解决方案
阿里云ecs服务器之间大文件迁移利用阿里云oss通过内网传输解决方案
|
前端开发 JavaScript 对象存储
如何把emlog的css,js,字体,图片等迁移到阿里云oss提升网站加载速度
如何把emlog的css,js,字体,图片等迁移到阿里云oss提升网站加载速度
287 0
如何把emlog的css,js,字体,图片等迁移到阿里云oss提升网站加载速度
|
存储 分布式计算 资源调度
高效迁移 HDFS 海量文件到 OSS | 学习笔记
快速学习高效迁移 HDFS 海量文件到 OSS。
297 0
高效迁移 HDFS 海量文件到 OSS | 学习笔记