OSS传输工具OSSutil使用介绍

  1. 云栖社区>
  2. 袋鼠云技术团队>
  3. 博客>
  4. 正文

OSS传输工具OSSutil使用介绍

红隐 2018-03-18 16:38:37 浏览21807
展开阅读全文

对象存储OSS是我们平时经常使用的产品,那么对于往OSS上传输数据的工具也是需要经常使用到的,下面介绍几款OSS传输工具的使用方式:

首先先了解一下什么是对象存储OSS:

阿里云对象存储服务(Object Storage Service,简称 OSS),是阿里云提供的海量、安全、低成本、高可靠的云存储服务。您可以通过调用 API,在任何应用、任何时间、任何地点上传和下载数据,也可以通过 Web 控制台对数据进行简单的管理。OSS 适合存放任意类型的文件,适合各种网站、开发企业及开发者使用。按实际容量付费真正使您专注于核心业务。

几种OSS传输工具简单介绍:

工具 简介 备注
ossbrowser 图形化的Object管理工具。 支持Windows、Linux、Mac平台。 官方工具。 提供类似Windows资源管理器的功能。用户可以方便的浏览文件、上传下载文件、支持断点续传等。
ossutil 命令行管理工具。提供方便、简洁、丰富的Object管理命令。 官方工具,支持Windows, Linux, Mac平台,不依赖于任何第三方组件,下载后即用不需要安装。
osscmd 命令行管理工具。提供完备的Bucket、object管理命令。 官方工具。基于Python2.5 - 2.7版本,支持多平台。将逐步被ossutil替代,除非需要ossutil不具备的Bucket管理功能外,强烈推荐使用ossutil。
ossfs 挂载bucket到本地文件系统,能够通过本地文件系统操作OSS 上的对象,实现数据的访问和共享。 官方工具。支持Linux平台。
ossftp FTP工具,使用FTP协议来管理OSS的object,可以使用FileZilla、WinSCP、FlashFXP等FTP客户端操作OSS。OSSFTP本质是FTP Server, 接收FTP请求,将对文件、文件夹的操作映射为对OSS的操作。 基于Python2.7及以上,支持Windows、Linux、Mac平台。
ossimport2 数据同步工具。 可以将本地或第三方云存储服务上的文件同步到OSS上。 官方工具。依赖JRE7及以上。支持Windows、Linux平台。

**
本篇文章我们重点讲述一下传输工具Ossutil的使用:
若文件总量小于30T则建议使用ossutil,若大于30T建议使用ossimport
**

Ossutil工具:
1.Ossutil简介
命令行管理工具。提供方便、简洁、丰富的Object管理命令。简单来讲就是通过简单的命令行,即可实现数据往OSS上传输的功能,当然也包括其他的功能。
**
2.下载与安装:**
进入阿里云官网 下载安装包
https://help.aliyun.com/document_detail/50452.html?spm=a2c4g.11186623.6.1054.KQWN6E
111

**3
. 安装使用**

根据您的操作系统选择相应的binary或者压缩包下载后,运行相应的binary(如果binary为不可执行文件,请给binary增加可执行权限:chmod 755 ossutil),即:
linux系统下:

./ossutil

windows系统下有两种方法(以64位系统为例):
1) 解压压缩包,双击运行其中的bat文件,再键入:

ossutil64.exe

2)解压压缩包,cmd进入压缩包中binary所在的目录,键入:

ossutil64.exe

mac系统下:

./ossutilmac64

**
4.配置工具config文件**
在使用访问oss的命令时,需要先配置访问AK,关于AK的更多信息见:RAM和STS介绍
配置ossutil由两种方式:交互式和非交互式。
关于配置命令的更多帮助,请使用ossutil help config查看。
交互式配置ossutil

./ossutil config
1.    $./ossutil config -L ch
2.    该命令创建将一个配置文件,在其中存储配置信息。
3.    
4.    请输入配置文件路径(默认为:/home/admin/.ossutilconfig,回车将使用默认路径。如果用户设置为其它路径,在使用命令时需要将--config-file选项设置为该路径):
非交互式配置ossutil
./ossutil config -e oss.aliyuncs.com -i your_id -k your_key

1.    配置文件格式:
2.    
3.    [Credentials]
4.    language = CH
5.    endpoint = oss.aliyuncs.com
6.    accessKeyID = your_key_id
7.    accessKeySecret = your_key_secret
8.    stsToken = your_sts_token
9.    outputDir = your_output_dir
10.    [Bucket-Endpoint]
11.    bucket1 = endpoint1
12.    bucket2 = endpoint2
13.    ...
14.    [Bucket-Cname]
15.    bucket1 = cname1
16.    bucket2 = cname2
17.    ...
18.    
19.    SAMPLE
20.    
21.    ossutil config
22.    ossutil config -e oss-cn-hangzhou.aliyuncs.com -c ~/.myconfig
23.    
24.    OPTIONS
25.    
26.    -c, --config-file
27.    ossutil工具的配置文件路径,ossutil启动时从配置文件读取配置,在config命令中,ossutil将配置写入该文件。
28.    
29.    -e, --endpoint
30.    ossutil工具的基本endpoint配置(该选项值会覆盖配置文件中的相应设置),注意其必须为一个二级域名。
31.    
32.    -i, --access-key-id
33.    访问oss使用的AccessKeyID(该选项值会覆盖配置文件中的相应设置)。
34.    
35.    -k, --access-key-secret
36.    访问oss使用的AccessKeySecret(该选项值会覆盖配置文件中的相应设置)。
37.    
38.    -t, --sts-token
39.    访问oss使用的STSToken(该选项值会覆盖配置文件中的相应设置),非必须设置项。
40.    
41.    --output-dir=ossutil_output
42.    指定输出文件所在的目录,输出文件目前包含:cp命令批量拷贝文件出错时所产生的report文件(关于report文件更多信息,请参考cp命令帮助)。默认值为:当前目录下的ossutil_output目录。
43.    
44.    -L CH, --language=CH
45.    设置ossutil工具的语言,默认值:CH,取值范围:CH/EN,若设置成"CH",请确保您的系统编码为UTF-8。

5. 使用案例:
使用环境:
Windows 文件 往 OSS上传输
5.1安装工具包,配置config文件
_20180319094712

**
5.2**
使用命令行进行传输:
若遇到以下错误,则证明配置文件中AK出现错误,再重新检查一遍
333

使用过程中可以添加使用选项实现 提高并行数,断点续传等功能
具体选项请用 ./ossutil或 ./ossutil help 查看命令文档

5.3
传输完毕实例

444

传输过程中可能遇到的问题:

555

上图中显示传输到一半,提示某个文件找不到,于是人工去排查了一下,发下是如下图中的文件:
666

该类文件特点,无法删除,名字中有特殊字符,

原因及解决方式:
1、 文件夹带点或者特殊字符。
右键新建-文本文档-写入下列命令:
DEL /F /A /Q \?%1
RD /S /Q \?%1
另存为"delete.bat",不要双击运行。
【把要删除的文件或者目录拖放到这个bat文件的图标上就可以删除了!】
也可以下载类似文件粉碎机类的软件删除。

2、磁盘有错误。
这个比较简单,右键文件所在盘符,属性,工具,开始检测,勾选自动修复文件系统错误。
3、硬盘有坏道或者分区表错误。
这种情况基本无解,想要修复坏道硬盘的东西全的备份出去。

以上就是ossutil传输工具简单的使用方法,具体更多工具使用细节请进入官方文档查询。

网友评论

登录后评论
0/500
评论
红隐
+ 关注
所属团队号: 袋鼠云技术团队