阿里云Cloud Shell中使用日志服务CLI最佳实践

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 目前阿里云云命令行Cloud Shell已经部署日志服务CLI,免部署配置,一键管理日志服务资源与下载日志服务数据更轻松!

背景

目前阿里云云命令行Cloud Shell已经部署日志服务的命令行工具(CLI)(版本0.1.16, log-python-sdk-v-0.6.44并会定期升级),且根据当前登录用户自动配置好用户的临时AK和默认Region等。

常用场景

1. 管理日志服务资源

Cloud Shell下的默认Region如下:

中国站:杭州
国际站:新加坡
日本站:东京
AI 代码解读

因此使用日志服务CLI和常规部署后一样,在操作非默认Region下资源时,也需要切换Region,可以直接在命令行参数--region-endpoint中直接指定,例如以下查看当前用户上海Region下的日志服务Project:

aliyunlog log list_project --format-output=json --region-endpoint=cn-shanghai.log.aliyuncs.com
AI 代码解读

注意:如果要切换到ECS/局域网Region,目前只支持上海局域网(cn-shanghai-intranet.log.aliyuncs.com),其他Region目前只能是走公网Endpoint。

更多关于日志服务CLI的操作,请访问日志服务CLI文档中心日志服务CLI最佳实践集

2. 下载数据到NAS或者OSS

现有方案比较

也可以直接在Cloud Shell中使用日志服务CLI下载较大量数据,与其他方法的比较如下:

比较 控制台直接下载 本地运行CLI下载 Cloud Shell运行CLI下载 编程下载[2]
最大下载量 查询为前100条,统计是所有 百万级 十万级别[1] 无限
部署 需手工安装 自动部署 手工部署
秘钥传播 需要 自动 需要
局域网下载 支持(需要部署在对应Region ECS上) 仅上海 支持(需要部署在对应Region ECS上)
NAS集成 手动 自动[3] 手动
  1. Cloud Shell默认执行1个小时左右后需要重启
  2. 编程下载需要依赖消费组,可以参考相关最佳实践
  3. NAS在登录Cloud Shell会自动提示是否挂在NAS,确认后会自动在上海Region下并挂在一个的NAS(并提供5GB免费空间,推荐打开)。

操作步骤

  1. 在日志服务交互式界面下选择【通过命令行工具下载数据】时,选择对话框中高亮部分部分复制(注意:不需要复制--access-id开始部分):

image


  1. 打开Cloud Shell

image

  1. 粘贴步骤#1中的文本,并配置一个文件路径例如 >> download.txt

image

  1. 之前已经配置好NAS,可以在上海Region下看到对应的NAS盘:

image

进一步上传到OSS

  1. 运行命令aliyun oss ls可以查看当前可以操作的OSS的Bucket列表(以及Region信息)
  2. 选择合适的目标,运行如下命令
aliyun oss cp download.txt oss://bucket-name --region cn-hangzhou
AI 代码解读

注意:有一个oss://前缀,--region没有oss-前缀

进一步参考

目录
打赏
0
0
0
0
3963
分享
相关文章
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。
204 15
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB,MiniMax构建了覆盖国内及海外业务的日志可观测中台,总体数据规模超过数PB,日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒,峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段,MiniMax在优化性能的同时显著降低了建设成本,计算资源用量降低40%,热数据存储用量降低50%,为未来业务的高速发展和技术演进奠定了坚实基础。
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
阿里云个人博客外网访问中断应急指南:从安全组到日志的七步排查法
1. 检查安全组配置:确认阿里云安全组已开放HTTP/HTTPS端口,添加规则允许目标端口(如80/443),授权对象设为`0.0.0.0/0`。 2. 本地防火墙设置:确保服务器防火墙未阻止外部流量,Windows启用入站规则,Linux检查iptables或临时关闭防火墙测试。 3. 验证Web服务状态:检查Apache/Nginx/IIS是否运行并监听所有IP,使用命令行工具确认监听状态。 4. 测试网络连通性:使用外部工具和内网工具测试服务器端口是否开放,排除本地可访问但外网不可的问题。 5. 排查DNS解析:确认域名A记录指向正确公网IP,使用`ping/nslookup`验证解析正
53 2
网络安全视角:从地域到账号的阿里云日志审计实践
网络安全视角:从地域到账号的阿里云日志审计实践
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。
466 43
阿里云DTS踩坑经验分享系列|SLS同步至ClickHouse集群
作为强大的日志服务引擎,SLS 积累了用户海量的数据。为了实现数据的自由流通,DTS 开发了以 SLS 为源的数据同步插件。目前,该插件已经支持将数据从 SLS 同步到 ClickHouse。通过这条高效的同步链路,客户不仅能够利用 SLS 卓越的数据采集和处理能力,还能够充分发挥 ClickHouse 在数据分析和查询性能方面的优势,帮助企业显著提高数据查询速度,同时有效降低存储成本,从而在数据驱动决策和资源优化配置上取得更大成效。
214 9
阿里云日志服务的傻瓜式极易预测模型
预测服务有助于提前规划,减少资源消耗和成本。阿里云日志服务的AI预测服务简化了数学建模,仅需SQL操作即可预测未来指标,具备高准确性,并能处理远期预测。此外,通过ScheduledSQL功能,可将预测任务自动化,定时执行并保存结果。
160 3
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
在阿里云日志服务轻松落地您的AI模型服务——让您的数据更容易产生洞见和实现价值
您有大量的数据,数据的存储和管理消耗您大量的成本,您知道这些数据隐藏着巨大的价值,但是您总觉得还没有把数据的价值变现出来,对吗?来吧,我们用一系列的案例帮您轻松落地AI模型服务,实现数据价值的变现......
332 3

云存储

+关注

相关产品

  • 日志服务
  • AI助理

    你好,我是AI助理

    可以解答问题、推荐解决方案等