OSS高速通道跨国复制最佳实践

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 原作者:阿里云飞天解决方案架构师,爅冉。本文告诉读者,怎样通过结合OSS、ossimport、高速通道,实现跨国文件的快速复制。

部署步骤:

1、在上海region部署VPC1,VPC下部署ECS作为代理机器

2、在ECS上部署 ossimport,或者osscmd/ossutil

3、开通上海至美西的高速通道,将美西的OSS VPC内网访问地址 加入到高速通道的路由配置中

4、配置ossimport ,详细步骤参照:https://help.aliyun.com/document_detail/32201.html?spm=5176.doc44075.6.1037.T83MB2 ,其中目标端oss endpoint 填写OSS VPC内网访问endpoint,参见 https://help.aliyun.com/document_detail/31837.html


架构图:

c551ca92fd442838346bd7d511688a251c8d76a6


注意事项:

1、ossimport适合大量多个文件传输,如果仅为单个文件同步,单线程无法将高速通道带宽打满

2、同步无法做到非常实时,可实现增量同步,目前工具中增量同步最小间隔为 900秒,文件大小限制为 1T

3、若是单个文件同步,可采用osscmd/ossutil下载至ECS中,再传输到美西OSS上

4、测试中采用10M 高速通道,可将带宽打满,同步速度完全取决于高速通道带宽


目录
相关文章
|
3月前
|
存储 安全 API
利用对象存储(OSS)实现内容分发加速 :高效可靠的解决跨境下载延迟问题
利用对象存储(OSS)实现内容分发加速 :高效可靠的解决跨境下载延迟问题
85 2
|
7月前
|
存储 Linux API
如何经济高效使用云存储网关对接OSS存储
存储网关是一款可以为OSS存储提供文件访问接口的产品,从而用户可以像使用NAS一样在Windows/Linux操作系统里面直接挂载OSS进行使用。众所周知,OSS存储具有多种存储类型。那么对于所有的存储类型,云存储网关是否都适用呢?本文将围绕这一话题,展开一些探讨。
155 0
|
10月前
|
存储 大数据 Serverless
带你读《云存储应用白皮书》之28:1. 影视数据存储与传输加速方案
带你读《云存储应用白皮书》之28:1. 影视数据存储与传输加速方案
175 0
|
存储 容灾
《混合云存储开启企业上云新路径---阿里云混合云备份容灾方案发布》电子版地址
混合云存储开启企业上云新路径---阿里云混合云备份容灾方案发布
154 0
《混合云存储开启企业上云新路径---阿里云混合云备份容灾方案发布》电子版地址
|
存储 机器学习/深度学习 编解码
阿里云文件存储CPFS实现与OSS之间数据双向便捷流动
阿里云文件存储CPFS现已支持“数据流动”特性。该功能适用于2021年9月29日以后建立的CPFS文件系统。当文件系统启用该特性后,“数据流动”功能可以实现将对象存储OSS的bucket中的数据合并入CPFS进行统一命名空间的元数据管理。用户可以手动或者通过自动Lazy-load能力,将OSS中的数据复制到CPFS中,实现通过POSIX文件接口高速访问OSS中的数据,在保持数据在OSS中低成本存储的同时,获得高性能文件访问能力,满足云上自动驾驶、机器学习、HPC等大数据计算场景的需求。
2064 0
|
监控 关系型数据库 网络安全
DTS+高速通道和IDC对接
本文为您介绍如何通过高速通道配置DTS任务,实现IDC自建数据库和RDS之间的数据同步,迁移,订阅任务。
|
存储 缓存 安全
将云上文件同步至线下存储的一种方案 - 混合云存储网关
在最初的云存储市场,绝大部分用户,都是通过利用云存储的低价和高容量,将本地存储扩展到云上,从而达到降低成本的目的,同时利用云存储的高可靠性,保证数据的安全。随着时间的推移,用户的数据存储形态越来越多样。在与用户的实际接触中,我们发现不少用户同样有着将云上数据复制/备份至云下存储的需求。2019年12月1日实施的等保2.0(信息安全技术网络安全等级保护基本要求2.0),同样也对云上数据的安全性做了要求,这将进一步拉动用户将数据下云做额外保护的需求。
664 0
|
存储 弹性计算 对象存储
混合云存储网关跨境数据传输最佳实践
在之前的文章中,我介绍了混合云存储网关的传输加速功能。那么传输加速的实际效果到底如何?在跨境传输的时候值不值得使用传输加速?为了找到答案,我们做了一些测试,得到了一些结论,供大家参考。
482 0
混合云存储网关跨境数据传输最佳实践
|
存储 容灾 对象存储
阿里云OSS同城冗余存储技术解析
近年来,面对数字化转型带来的挑战,越来越多的企业开始将关键业务系统上云,也有更多的业务创新在云上,帮助企业实现业务增长,这些数据已经成为企业最重要的资产、资源。对于企业来说,如何确保宝贵的数据资产不丢失,不因为数据的原因影响业务的正常访问,一直是数据面对的重要挑战。
541 0
阿里云OSS同城冗余存储技术解析