OSS在线迁移服务剖析

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 在前迁移说明 目前由于 OSS 数据迁移服务涉及到对目标的 OSS 要有很多 action 的 API 授权,为避免用户产生过多的学习成本,我们直接强制使用主账号进行迁移; 该服务正在公测中,目前仍在免费使用阶段;服务使用需要提前工单申请账号 UID 加入白名单; 在线迁移分类 离线迁移:这里.

在前迁移说明

  • 目前由于 OSS 数据迁移服务涉及到对目标的 OSS 要有很多 action 的 API 授权,为避免用户产生过多的学习成本,我们直接强制使用主账号进行迁移;
  • 该服务正在公测中,目前仍在免费使用阶段;服务使用需要提前工单申请账号 UID 加入白名单;

在线迁移分类

离线迁移:这里是指的闪电立方硬盘数据 copy 的方式迁移到 OSS;适合用在专有云,以及海量 PB 级别数据想要快速迁移的需求;

image

image

在线迁移:包含了第三方存储迁移到 OSS 以及 ECS 数据迁移到 OSS

1、创建数据地址,类似 ossimport job.cfg 的操作,配置迁移的数据源,以及目标 OSS bucket 相关配置;

  • 迁移数据用的 accesskeyID 要具有对应的权限,授予子账号存储空间读写权限(AliyunOSSFullAccess)和在线迁移管理权限(AliyunMGWFullAccess)
  • 数据地址要创建两个,一个源数据地址,一个目标数据地址;

image

image

2、创建迁移任务

image

image

3、任务类型说明

  • 全量迁移:上传所有的源文件到 OSS;
  • 增量迁移:上传前先 list 所有的源文件,比对哪些是已经上传过的,将不再重复上传;
  • 数据同步:这里注意下,当部署的是 OSS 之间迁移的任务时,可以在同区域进行数据同步操作,定期的同步源 bucket 数据到目标 bucket;
  • 同时还可以针对指定文件的时间进行数据迁移;

image

4、调优设置

用户配置好迁移体量和文件大致数量后,可以根据设置自动计算分配的工作线程数,同时用户也可以灵活的按时间段限流,或者不限流;

image

5、注意

在创建迁移任务后,OSS 会去源拉个别文件进行测试,如果恰好源文件含有非法命名的 object 就会导致整个任务失败,
非法字符包含 "/ .. " 以及长度不能超过 1024字节;

image

在线迁移管理

已经创建好的迁移任务,用户可以对其进行管理和监控;

  • 进入到管理界面后我们可以看到迁移任务的整体监控(流量,任务状态,迁移进展)

image

  • 任务迁移过程中如果出现失败,用户可以进行重试;

image

  • 任务迁移完成后,用户生成迁移报告,包含来整体的迁移实际数量,是否有报错,以及报错原因等信息;报告是保存在 OSS 上的;

image

目录
相关文章
|
Java 对象存储 Perl
oss迁移以及校验
oss的数据迁移以及一致性校验
2250 0
|
分布式计算 Hadoop Java
Hadoop/Spark 访问 OSS 加速 | 学习笔记
快速学习Hadoop/Spark 访问 OSS 加速。
426 0
|
运维 安全 前端开发
oss资源访问连接问题
ssl证书 域名绑定 自有域名
704 0
oss资源访问连接问题
|
弹性计算 对象存储 网络虚拟化
CEN+私网NAT实现跨地域访问OSS需求-CEN基础版
CEN+私网NAT实现跨地域访问OSS需求-CEN基础版
|
存储 SQL JSON
通过OSS外表访问OSS数据
原文地址:通过OSS外表访问OSS数据 - 云原生关系型数据库 PolarDB MySQL引擎 - 阿里云PolarDB可以通过OSS外表直接查询存储在OSS上的CSV格式数据,有效地降低存储的成本。本文档主要介绍了通过OSS外表访问OSS数据的操作步骤。背景信息通过OSS外表,您可以把CSV格式的冷数据存储在OSS引擎上,并对冷数据进行查询和分析。具体原理如下:CSV格式的数据支持的数据类型包括
382 0
|
存储 SQL 缓存
访问 OSS 这类对象存储最快的方式- JindoFS SDK |学习笔记
快速学习 访问 OSS 这类对象存储最快的方式- JindoFS SDK
351 0
访问 OSS 这类对象存储最快的方式- JindoFS SDK |学习笔记
OY
|
存储 应用服务中间件 Linux
阿里ESC(轻量云) 通过内网访问OSS资源
阿里对象存储OSS服务
OY
1087 0
|
缓存 分布式计算 Java
Spark 访问 OSS 透明缓存加速 | 学习笔记
快速学习Spark 访问 OSS 透明缓存加速。
213 0
Spark 访问 OSS 透明缓存加速 | 学习笔记
|
SQL 缓存 分布式计算
Presto 访问 OSS 透明缓存加速 | 学习笔记
快速学习 Presto 访问 OSS 透明缓存加速。
310 0
Presto 访问 OSS 透明缓存加速 | 学习笔记
|
对象存储
访问oss出现报错:You have no right to access this object because of bucket acl
访问oss出现报错:You have no right to access this object because of bucket acl 也配置bucket权限和RAM用户权限了但是还是报错,然后看了下代码,发现到httpClient.execute(req)就直接403了 能问下大佬们这是什么问题吗,百度也没找到