OSS 解决方案篇-OSS 数据迁移

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: OSS 迁移数据有三种方式(ossutil、ossimport 、在线迁移服务)用户可以根据场景自由选择

功能描述

ossutil :是命令行迁移的工具,配置简单,可以适用在本地域名迁移到 OSS 上,支持多线程以及超时重试功能。但支持场景少可以用在本地迁移、OSS 之前迁移,而且迁移日志不太友好,分析起来比较麻烦,没有详细的任务进度;

ossimport :也是需要命令行进行配置,支持多个目录同时进行迁移,适合第三方云迁移到 OSS,本地数据迁移到 OSS、OSS 之前迁移。而且支持主备多机器同时迁移,增加迁移的带宽吞吐,可以有效的提高迁移效率。缺点是配置复杂,多个不同目录迁移时需要配置多个迁移文件;

在线迁移服务:这种方式几乎兼容了以上的所有优先,还可以限制每天迁移高峰期的流量,但缺点是客户数据如果放在本地的 IDC 机房那就无法使用了,要用 ossutil 或者 ossimport ,本文主要介绍在线迁移的方式;

在线迁移

  • 目前由于 OSS 数据迁移服务涉及到对目标的 OSS 要有很多 action 的 API 授权,为避免用户产生过多的学习成本,我们直接强制使用主账号进行迁移;
  • 该服务正在公测中,目前仍在免费使用阶段;服务使用需要提前工单申请账号 UID 加入白名单;

在线迁移分类

离线迁移:

这里是指的闪电立方硬盘数据 copy 的方式迁移到 OSS;适合用在专有云,以及海量 PB 级别数据想要快速迁移的需求;

image.png

image.png

在线迁移:

包含了第三方存储迁移到 OSS 以及 ECS 数据迁移到 OSS,具体配置方法如下;

1、创建数据地址,类似 ossimport job.cfg 的操作,配置迁移的数据源,以及目标 OSS bucket 相关配置;

  • 迁移数据用的 accesskeyID 要具有对应的权限,授予子账号存储空间读写权限(AliyunOSSFullAccess)和在线迁移管理权限(AliyunMGWFullAccess)
  • 数据地址要创建两个,一个源数据地址,一个目标数据地址;
    image.png

image.png

2、创建迁移任务
image.png

image.png

3、任务类型说明

  • 全量迁移:上传所有的源文件到 OSS;
  • 增量迁移:上传前先 list 所有的源文件,比对哪些是已经上传过的,将不再重复上传;
  • 数据同步:这里注意下,当部署的是 OSS 之间迁移的任务时,可以在同区域进行数据同步操作,定期的同步源 bucket 数据到目标 bucket;
    同时还可以针对指定文件的时间进行数据迁移;

image.png

4、调优设置
用户配置好迁移体量和文件大致数量后,可以根据设置自动计算分配的工作线程数,同时用户也可以灵活的按时间段限流,或者不限流;

image.png

5、使用注意
在创建迁移任务后,OSS 会去源拉个别文件进行测试,如果恰好源文件含有非法命名的 object 就会导致整个任务失败,
非法字符包含 "/ .. " 以及长度不能超过 1024字节;

image.png

在线迁移管理

已经创建好的迁移任务,用户可以对其进行管理和监控;

  • 进入到管理界面后我们可以看到迁移任务的整体监控(流量,任务状态,迁移进展)
    image.png
  • 任务迁移过程中如果出现失败,用户可以进行重试;
    image.png
  • 任务迁移完成后,用户生成迁移报告,包含来整体的迁移实际数量,是否有报错,以及报错原因等信息;报告是保存在 OSS 上的;
    image.png

FQA

1、如果要使用迁移服务,子账号需要具备 OSS 管理权限 以及 MGW 的管理权限,授权地址
服务开启方式
https://mgw.console.aliyun.com/?spm=a2c4g.11186623.2.12.5bf6614cWHZzGe#/job?_k=6w2hbo

2、跨域迁移的场景,需要提交功能单独申请,个人要提供内容合法性的生命。

3、排查失败任务原因可以在控制台迁移任务内,生成对应任务报告

4、迁移文件量大、文件多时,OSS 要对源文件进行 list 后才会启动迁移,在 list 过程中比较耗时,如果看到迁移进度 0 的情况正常,只要没有迁移失败用户不用担心;

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
对象存储
阿里云对象存储oss+picgo+typora实现步骤及无法上传图片解决方案
阿里云对象存储oss+picgo+typora实现步骤及无法上传图片解决方案
417 0
阿里云对象存储oss+picgo+typora实现步骤及无法上传图片解决方案
|
6月前
|
开发工具 对象存储 C++
UE4 x 阿里云OSS 配置问题和解决方案
在OSS配置到UE4时遇到一些问题,已解决,分享一些解决方案。
1195 0
|
存储 容灾 Cloud Native
利用阿里云对象存储OSS-RC实现经济实惠的云备份容灾解决方案
本文主要分享《如何利用阿里云对象存储OSS-RC实现经济实惠的云备份容灾解决方案》,帮助中小企业解决因难以负担备份容灾支出而遭受到业务中断威胁的问题。
利用阿里云对象存储OSS-RC实现经济实惠的云备份容灾解决方案
|
弹性计算 Linux Go
阿里云ecs服务器之间大文件迁移利用阿里云oss通过内网传输解决方案
阿里云ecs服务器之间大文件迁移利用阿里云oss通过内网传输解决方案
|
对象存储
网站引用阿里云oss里面的远程字体图标不显示解决方案
网站引用阿里云oss里面的远程字体图标不显示解决方案
350 0
网站引用阿里云oss里面的远程字体图标不显示解决方案
|
存储 SQL 大数据
数据湖实操讲解【数据迁移】第四讲:如何将 Hive 数据按分区归档到 OSS
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播!扫文章底部二维码入钉群,线上准时观看~ Github链接: https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindo_distcp/jindo_distcp_overview.md
数据湖实操讲解【数据迁移】第四讲:如何将 Hive 数据按分区归档到 OSS
|
存储 弹性计算 分布式计算
数据湖实操讲解【数据迁移】第三讲:如何将 HDFS 海量文件归档到OSS
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播!扫文章底部二维码入钉群,线上准时观看~ Github链接: https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindo_distcp/jindo_distcp_overview.md
数据湖实操讲解【数据迁移】第三讲:如何将 HDFS 海量文件归档到OSS
|
存储 分布式计算 算法
数据湖实操讲解【数据迁移】第二讲:数据无忧 - 利用 checksum 迁移 HDFS 数据到 OSS
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播!扫文章底部二维码入钉群,线上准时观看~ Github链接: https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindo_distcp/jindo_distcp_overview.md
数据湖实操讲解【数据迁移】第二讲:数据无忧 - 利用 checksum 迁移 HDFS 数据到 OSS
|
存储 分布式计算 资源调度
数据湖实操讲解【数据迁移】第一讲:高效迁移 HDFS 海量文件到 OSS
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播!扫文章底部二维码入钉群,线上准时观看~
数据湖实操讲解【数据迁移】第一讲:高效迁移 HDFS 海量文件到 OSS
|
消息中间件 存储 机器学习/深度学习
OSS 解决方案篇-OSS 结合 媒体处理 使用
当用户需要对 OSS 存储的音视频文件做专业内容处理,并且希望保留源文件将处理后的内容再存储到 OSS上,可以使用 OSS + MPS 方案解决。
OSS 解决方案篇-OSS 结合 媒体处理 使用

热门文章

最新文章