阿里云存储服务 关注
手机版

一行命令:从 ELK 迁移日志服务

  1. 云栖社区>
  2. 阿里云存储服务>
  3. 博客>
  4. 正文

一行命令:从 ELK 迁移日志服务

吴波bruce_wu 2018-08-09 10:56:16 浏览1614 评论2

摘要: 日志服务相比自建 ELK 在功能、性能、规模和成本等方面有诸多优势。对于已经存储在 Elasticsearch 中的数据,用户只需要一行命令就能方便地将数据迁移至日志服务。

概述

日志服务相比自建 ELK 在功能、性能、规模和成本等方面有诸多优势,参阅自建ELK vs 日志服务(SLS)全方位对比。对于已经存储在 Elasticsearch 中的数据,用户只需要一行命令就能方便地将数据迁移至日志服务。

数据迁移简介

数据迁移顾名思义是指将数据从某个数据源迁移到另外一个数据源。根据不同数据源存储引擎是否相同,可分为同源迁移和异构迁移。根据迁移类型的不同,可分为全量迁移和增量迁移。
目前,各大云计算厂商都提供了各自的数据迁移方案,如 AWS DMSAzure DMA阿里云 DTS。这些方案主要专注于解决关系型数据库间的数据迁移问题,还未覆盖到 Elasticsearch 场景。

Elasticsearch 数据迁移方案

针对 Elasticsearch 场景,日志服务团队提供了基于 aliyun-log-python-sdkaliyun-log-cli 的解决方案。该方案主要针对历史数据做全量迁移。

原理

  • 使用 Scroll API 从 Elasticsearch 抓取数据。Scroll API 可以从 Elasticsearch 里高效取出大量数据而无须付出深度分页的代价。
  • 针对 Elasticsearch 每个 index 的每个 shard 创建一个数据迁移任务,提交到内部进程池中执行,用来提高并行度和吞吐量。

es_migration.png

功能

  • 支持用户将 Elasticsearch 中的所有文档或某些索引中的文档迁移至日志服务指定的 project 中,工具会自动初始化好与索引同名的 logstore。
  • 支持用户自定义过滤条件,只迁移符合条件的文档至日志服务。
  • 支持用户自定义 Elasticsearch 的索引和日志服务的 logstore 之间的映射关系。
  • 支持用户通过参数 pool_size 来控制数据迁移任务的并行度。
  • 支持用户自定义日志字段 time、__source__、__topic__ 的取值。
  • 支持使用 HTTP 基本认证从 Elasticserch 中迁移数据。

映射关系

Elasticsearch 数据模型中包含 - 索引(index),类型(type),文档(document),映射(mapping),数据类型(field datatypes)等概念,它们和日志服务中数据模型的映射关系如下表所示。

Elasticsearch 日志服务 说明
index logstore 允许用户将多个 index 上的数据迁移至一个 logstore。
type logItem 中的字段 __tag__:_type
document logItem Elasticsearch 的文档和日志服务中的日志一一对应。
mapping logstore 的索引 工具默认情况下会为您自动创建好索引。
field datatypes logItem 数据类型 具体映射关系参考数据类型映射

使用样例

下面通过一段视频向您展示如何使用 CLI 将 nginx 访问日志从 Elasticsearch 迁移至日志服务,以及如何对这批数据进行查询分析。

迁移命令

aliyun log es_migration --hosts=<your_es> --project_name=<your_project> --indexes=filebeat-* --logstore_index_mappings='{"nginx-access": "filebeat-*"}' --time_reference=@timestamp

查询分析

1.以天为单位统计各状态码的数量。

* | SELECT  date_trunc('day' ,  __time__)  as t, "nginx.access.response_code" AS status, COUNT(1) AS count GROUP BY status, t ORDER BY t ASC

2.统计请求分布在哪些国家。

* | SELECT ip_to_country("nginx.access.remote_ip") as country, count(1) as count GROUP BY country

性能调优

工具的性能主要取决于从 Elasticsearch 中读取数据的速度以及向日志服务写入数据的速度。

Elasticsearch 读取速度

Elasticsearch 中每个 index 由多个 shard 组成。工具会为每个 index 的每个 shard 创建一个数据迁移任务,并提交到内部进程池中执行(进程池大小可通过参数 pool_size 指定)。理论上目标 index 的 shard 越多,整体吞吐量越高。

日志服务写入速度

日志服务也有 shard 的概念,单个 shard 提供 5MB/s,500次/s 的写入能力。您可以通过为 logstore 开启更多的 shard 来提高向日志服务写入数据的速度。

性能数据

在 Elasticsearch 目标 index 只有1个 shard,日志服务 logstore 也只有1个 shard,单个文档大小 100B 的情况下,平均数据迁移速率为 3MB/s。

参考资料

技术支持

日志服务-SLS

【云栖快讯】你想见的Java技术专家都在这了,向大佬提问,有问题必答  详情请点击

网友评论

1F
1188733785514913

这个太赞了

2F
1146307553475245

思路清晰,赞