自动化创建OSS、NAS数据卷

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 阿里云容器服务对外提供了数据卷服务,并支持第三方云存储,已经成为在集群环境中用户共享数据卷的利器; 容器服务当前支持阿里云OSS、NAS两种云存储,创建数据卷可以通过控制台或者脚本自动化完成;本文介绍如何通过脚本自动化实现数据卷的创建;

数据卷的基本介绍参考:
https://yq.aliyun.com/articles/138?spm=5176.100240.searchblog.11.dcX58H

阿里云OSS数据卷介绍:
https://yq.aliyun.com/articles/7581?spm=5176.100240.searchblog.7.SgLL9J

阿里云NAS数据卷介绍:
https://yq.aliyun.com/articles/52523?spm=5176.100240.searchblog.40.IhHWyf

控制台创建数据卷参考:
https://help.aliyun.com/document_detail/26033.html?spm=5176.doc26054.6.166.0Qcl7D

1. 获取集群ID

(OpenApi)通过API创建集群后,获得集群ID;参考:
https://help.aliyun.com/document_detail/26054.html?spm=5176.doc26060.6.203.H4azPQ

2. 获取集群介入地址

(OpenApi)通过集群ID获取集群信息,从中获取集群的接入点URL(master_url);参考:
https://help.aliyun.com/document_detail/26056.html?spm=5176.doc26057.6.205.ltOB01

3. 获取集群证书

(OpenApi)通过集群ID获取证书,参考:
https://help.aliyun.com/document_detail/26057.html?spm=5176.doc26056.6.206.O0Lf63

4. 创建NAS数据卷

实现下面HTTP请求以创建NAS数据卷:
请求:

curl -k -H "Content-Type: application/json" -X POST -d @nas.json https://master1g4.cs-cn-hangzhou.aliyun.com:14930/volumes/create -v --key key.pem --cacert ca.pem --cert cert.pem

响应:

{"Name":"docker2","Driver":"nas","Mountpoint":"/mnt/acs_mnt/nas/0a1c9498c","Labels":null,"Scope":""}

其中:/mnt/acs_mnt/nas/0a1c9498c 是生成的NAS挂载目录;
其中:master1g4.cs-cn-hangzhou.aliyun.com:14930 是通过步骤2获取的集群接入点URL;
其中:key.pem, ca.pem, cert.pem 是通过步骤3获取的集群证书;
其中:nas.json是需要创建的NAS数据卷信息文件,其内容如下:

{
    "name": "docker2",
    "driver": "nas",
    "driverOpts": {
        "diskid": "0a1c9498c",
        "host": "0a1c9498c-fjs24.cn-hangzhou.nas.aliyuncs.com",
        "opts": ""
    }
}

需要提供NAS信息:
数据卷名字(name),
NAS的磁盘ID(diskid),
NAS的挂载点地址(host);

5. 创建OSS数据卷

(HTTP)实现下面HTTP请求以创建OSS数据卷:
请求:

curl -k -H "Content-Type: application/json" -X POST -d @oss.json https://master1g4.cs-cn-hangzhou.aliyun.com:14930/volumes/create -v --key key.pem --cacert ca.pem --cert cert.pem

响应:

{"Name":"docker1","Driver":"ossfs","Mountpoint":"/mnt/acs_mnt/ossfs/aliyun-docker","Labels":null,"Scope":""}

其中:/mnt/acs_mnt/ossfs/aliyun-docker是生成的OSS挂载目录;
其中:master1g4.cs-cn-hangzhou.aliyun.com:14930是通过步骤2获取的集群接入点URL;
其中:key.pem, ca.pem, cert.pem是通过步骤3获取的集群证书;
其中:oss.json是需要创建的OSS数据卷信息文件,其内容如下:

{
    "name": "docker1",
    "driver": "ossfs",
    "driverOpts": {
        "bucket": "aliyun-docker",
        "ak_id": "****",
        "ak_secret": "*****",
        "url": "oss-cn-hangzhou.aliyuncs.com",
        "no_stat_cache": "true",
        "other_opts": "-o allow_other -o default_permission=666"
    }
}

需要提供的OSS信息:
数据卷名字(name),
OSS的Bucket名字(diskid),
用户的AK信息(ak_id, ak_secret),
OSS访问域名(url);


以上步骤中,1.2.3容器服务都有相应的SDK提供,参考:
https://help.aliyun.com/document_detail/26060.html?spm=5176.doc26057.6.231.oDUQLY
https://github.com/denverdino/aliyungo

步骤4、5未提供OpenApi、SDK,需要自己实现Client端;

相关实践学习
基于ECS和NAS搭建个人网盘
本场景主要介绍如何基于ECS和NAS快速搭建个人网盘。
阿里云文件存储 NAS 使用教程
阿里云文件存储(Network Attached Storage,简称NAS)是面向阿里云ECS实例、HPC和Docker的文件存储服务,提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。 产品详情:https://www.aliyun.com/product/nas
目录
相关文章
|
23天前
|
数据采集 存储 API
网络爬虫与数据采集:使用Python自动化获取网页数据
【4月更文挑战第12天】本文介绍了Python网络爬虫的基础知识,包括网络爬虫概念(请求网页、解析、存储数据和处理异常)和Python常用的爬虫库requests(发送HTTP请求)与BeautifulSoup(解析HTML)。通过基本流程示例展示了如何导入库、发送请求、解析网页、提取数据、存储数据及处理异常。还提到了Python爬虫的实际应用,如获取新闻数据和商品信息。
|
2月前
|
存储 关系型数据库 分布式数据库
PolarDB常见问题之PolarDB冷存数据到OSS之后恢复失败如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
3月前
|
数据采集 数据可视化 数据处理
【办公自动化】在Excel中按条件筛选数据并存入新的表2.0
【办公自动化】在Excel中按条件筛选数据并存入新的表2.0
51 1
|
4月前
|
前端开发 JavaScript Java
用Python实现高效数据记录!Web自动化技术助你告别重复劳动!
用Python实现高效数据记录!Web自动化技术助你告别重复劳动!
33 1
|
2月前
|
JSON 监控 数据管理
【Elasticsearch专栏 12】深入探索:Elasticsearch使用索引生命周期管理(ILM)自动化删除旧数据
Elasticsearch的ILM功能允许用户定义策略,自动管理索引从创建到删除的生命周期。用户可以设置策略,根据索引年龄或大小自动删除旧数据,节省存储空间。通过应用ILM策略于索引模板,新索引将遵循预定义的生命周期。用户还可以监控ILM状态,确保策略按预期执行。使用ILM,用户可以高效地管理数据,确保旧数据及时删除,同时保持数据完整性和安全性。
|
2月前
|
机器学习/深度学习 存储 分布式计算
机器学习PAI常见问题之DLC的数据写入到另外一个阿里云主账号的OSS中如何解决
PAI(平台为智能,Platform for Artificial Intelligence)是阿里云提供的一个全面的人工智能开发平台,旨在为开发者提供机器学习、深度学习等人工智能技术的模型训练、优化和部署服务。以下是PAI平台使用中的一些常见问题及其答案汇总,帮助用户解决在使用过程中遇到的问题。
|
3月前
|
存储 自然语言处理 数据可视化
【办公自动化】用Python按时间分割txt文件中的数据
【办公自动化】用Python按时间分割txt文件中的数据
57 1
|
6天前
|
分布式计算 DataWorks 数据处理
DataWorks产品使用合集之在DataWorks中管理MaxCompute模块的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
17 0
|
6天前
|
DataWorks 对象存储 分布式计算
DataWorks产品使用合集之DataWorks在将数据写入OSS时,会将所有的字符串类型的字段进行trim操作如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
24 1
|
6天前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之在DataWorks中,同步OSS中的数据的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
16 0