CLI使用案例2:轻松大并发地拉取大数据到本地

  1. 云栖社区>
  2. 阿里云存储服务>
  3. 博客>
  4. 正文

CLI使用案例2:轻松大并发地拉取大数据到本地

成喆 2018-01-25 22:53:06 浏览2139
展开阅读全文

当你需要把特定数据下载到本地时, 是否遇到一些困难:

  1. 现在的Web控制台只能一页一页的下载?
  2. SDK提供的接口需要用起来有些复杂, 例如游标怎么获取, 分区如何传入, 拉去数据后需要输出格式化?

如果是的, 你可能需要使用日志服务的CLI来轻松拉取数据到本地.

大并发拉取日志

介绍

拉取数据(PullLog)指的是针对特定分区, 按照游标来消费日志, 游标指的是服务器接收到日志的时间.
拉取数据的特点是:

  1. 没有索引的数据也可以拉取.
  2. 按照分区粒度拉取, 每个分区游标互相无关.
  3. 速度快, 易并发, 且支持传输压缩.
  4. 拉取的数据按照服务器接受的时间排序.

并发下载

命令pull_log_dump针对下载做了优化,直接指定文件路径,即可将日志下载在本地。

aliyunlog log pull_log_dump --project_name="p1" --logst

网友评论

登录后评论
0/500
评论
成喆
+ 关注
所属云栖号: 阿里云存储服务