来~与你讲一段ES节点扩容、数据迁移的故事……

简介:

运维攻城狮

作为最优(ku)秀(bi)的职业

若是没有些方法技巧

那是极可能需要牺牲些个人时间

1b4afa78fb8b5c6e88f77c742d76cb5d8cde2c0e

对此,本萌我

不能视而不见,见而不救啊!

 

比如,ES集群里的数据越来越大,

日增500G日志数据,

日志数量太多怎么办?

来来来,掌声有请

185e7884bad8d2f1d5a858a40f29bce4de5abc70

帮你做一波扩容,让你走上人生巅峰!

0df068c513b19f46d2ecf5466304f70ed39c3dce

6172a8bc97cd743a08ab3e3e62b0f1af78d16a46

 

01节点信息

 

目前集群中的节点信息如下:

fcdfe98f66155ebda28fbc50a60460c5030b5854


新增数据节点规格:

 62c35de883d3a3094533aa28d4389907a00b3c2c


新增master节点规格:

a50736e92e6bb9eba49d7a27f7ffc7c8af9a88b1

 

02扩容思路

 

1、将master从集群中分离出来
2、重启节点时给集群中老节点标记一个tag:old
3、将所有索引设置只分配到带有old标签的节点
4、将不怎么使用的索引close
5、将新增的data节点加入到集群中,并设置新的tag:new
6、修改索引template,新建的索引设置新建到tag为new的节点上。
7、在业务低峰期分批将之前在old节点上的索引迁移到new节点上。

 

03实践步骤

 

1、分离master节点

查看当前master节点:

6a0afa415048e783b158a7ff675adc4122861ee4

查看集群中的所有索引,暂时关闭一批历史不需要搜索使用的索引   

ps:主要是需要重启节点,open的索引越少,集群恢复的越快!

53a7cd7ae6234454b584b2036f1981d68d8aa91a

关闭集群reroute:

分别修改集群中node001~node006的配置文件,滚动重启:

040835dd0fd55bd5c01dccb45d2df74c62121e2b

配置好新的master节点es010、es011、es012

63c1d4ddde5b74a8d3c9bde426b761bd395877a9

节点状态:

59e76b6ca5fb26ff290fa71dabd6aa8829514fb0

查看个节点tag:

814bf94d23567d6171f52b3b61801523a2f90421

重启node005,将集群master转移到专属节点。

59127885e25ee808a0a77bd38361ef3663856903

至此,master节点已经从原有集群中分离,并且集群节点也都已做了标记tag。

 

2、修改索引的配置

确保当前集群中的索引只分配到当前标记为old的数据节点,不会分配到新增的数据节点。

88ae9f2055317377f6cea377090d4eb37232876d

3、配置新数据节点

12a7055dc2baa77aa65d46fcbdbacbe1ab303547

4、打开集群分配,并分批将数据迁移

aaf68ca0725cfe940fe9829edaee04c49801e6d3

完成以上四步就可以完成整个数据迁移了smiley_82.png?tp=webp&wxfrom=5&wx_lazy=1

619b54c1c6381f808a58d1dd04a7ae9d69d9e5a4

“ElasticSearch运维技术”了解一下

课件PPT+讲师答疑+沙龙直播

学习ElasticSearch在

袋鼠云、阿里、滴滴、有赞的实践应用成果;

学习ElasticSearch的

开发思路和性能优化策略!

目录
相关文章
|
JSON 数据格式 索引
记一次ES节点扩容、数据迁移实践
ElasticSearch、ES数据迁移、ES扩容
13230 0
|
5月前
|
NoSQL Redis
轻松掌握组件启动之Redis集群扩展秘籍:轻松扩容与缩容,释放高性能潜能
在这篇文章中,我们将揭示Redis集群的扩容和缩容操作,让您的Redis集群发挥最佳性能和可伸缩性。通过增加主节点和从节点,并将它们无缝添加到集群中,您将能够轻松扩展您的Redis集群以满足不断增长的需求。同时,我们还将探讨如何进行缩容操作,即删除节点,以优化集群资源的利用。无论您是初学者还是经验丰富的Redis用户,本文将为您提供一系列有用的技巧和最佳实践,帮助您更好地管理和优化Redis集群,实现更高的性能和可扩展性。
|
6月前
|
NoSQL Redis
114分布式电商项目 - Redis集群(节点增加删除)
114分布式电商项目 - Redis集群(节点增加删除)
25 1
|
7月前
|
运维 负载均衡 OceanBase
第四章:OceanBase集群技术架构(动态扩容和缩容)
第四章:OceanBase集群技术架构(动态扩容和缩容)
339 0
|
10月前
|
关系型数据库 MySQL 测试技术
动态扩容缩容的分库分表我想说 | 青训营笔记
动态扩容缩容的分库分表我想说 | 青训营笔记
64 0
|
容灾 数据处理
ES高可用集群规模实战介绍
ES高可用集群规模实战介绍
964 0
|
机器学习/深度学习 存储 弹性计算
ES架构设计:从单节点服务到百万节点 Elasticsearch 高可用集群系统架构设计
ES架构设计:从单节点服务到百万节点 Elasticsearch 高可用集群系统架构设计
|
关系型数据库 MySQL 中间件
|
消息中间件 弹性计算 固态存储
256变4096:分库分表扩容如何实现平滑数据迁移?
本文作者就一个高德打车弹外订单系统进行了一次扩分库分表和数据库迁移。
256变4096:分库分表扩容如何实现平滑数据迁移?
Openstack-M版(双节点)热迁移记录
Openstack-M版(双节点)热迁移记录
148 0
Openstack-M版(双节点)热迁移记录