【Elasticsearch 入门公开课】在Docker环境中,实操详解 ELK 基本概念-回顾篇(2)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 『Elasticsearch 入门课程23讲』目前已播出至第10讲,本周通过阮一鸣老师细致的讲解及实操,让大家了解如何通过 Docker 运行 Elasticsearch Kibana 、如何安装 Logstash 并导入数据 、对 Elasticsearch 关于索引、文档、REST API、节点、集群、分片及副本有了一个系统的了解。

讲师:阮一鸣——eBay Pronto 平台技术负责人、极客时间『Elasticsearch 核心技术与实战』课程讲师
课程为了更多同学能快速体验 Elasticsearch,为大家提供了免费的阿里云 Elasticsearch (3节点1核2G)的测试环境>>>>去开通

image.png

课程回顾

7 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro
8 | Logstash安装与导入数据
9 | 基本概念:索引、文档和REST API
10 | 基本概念:节点、集群、分片及副本

知识点一:在 Docker 容器中运行 Elasticsearch Kibana和 Cerebro

lasticsearch 成立之初就开始拥抱容器技术,官方不仅提供 Docker Image,同时在2019年5月,在发布7.1版本时,免费支持并提供 Elatic Operator on Kubernetes。而Cerebro 可以很好的让大家学习了解 Elasticsearch 分布式特性。

image.png

关于在本机运行 Docker 环境去启动 Elasticsearch 有两点好处

  • 可以通过一行命令,快速搭建环境
  • 非常快捷的清除数据

Demo 部分请跟随课程,动手试试吧

image.png

课程相关资料访问及下载

下载安装 Docker 与 Docker Compose
https://www.docker.com
https://docs.docker.com/compose
https://docs.docker.com/machine/install-machine/

Docker - Compose 相关命令

• 运行 Docker- compose up
• docker Compose down
• docker Compose down - v
• docker stop / rm containerID

GitHub:https://github.com/onebirdrocks/geektime-ELK/


知识点二:Logstash 安装与导入数据

我们通过 Elastic 官网下载并安装 Logstash,并在 Docker 本地运行,下载需要确保版本号跟 Elasticsearch 相一致;

image.png

下载安装 Logstash:

http://www.elastic.co/downloads/logstash
开通阿里云 Logstash 2核4G 1个月免费测试环境_点击开通

通过Movieiens 测试数据集,写了一个配置文件,并通过 Logstash 将这些数据写入 Elasticsearch,这些测试数据对于我们学习查询 Elasticsearch 起到非常关键的作用

image.png

下载 Movie Len 数据:

https://grouplens.org/datasets/movielens/

Demo 部分请跟随课程,动手试试吧

image.png

知识点三:基本概念(1)- 索引,文档和 REST API

Elasticsearch 中的“索引”和“文档”是一个逻辑概念,偏向与开发者视角;“文档”是所有可能搜索数据的最小单位,“索引”是相似文档的集合。

image.png

关于“文档”

在 Elasticsearch 中,“文档”以序列化成 JSON 格式保存,每个文档均对应一个 Unique ID和元数据,如 【_index-索引名】、【_type-类型名】等

image.png

关于“索引”

在 Elasticsearch 中“索引”是相似文档的集合,每一个“索引”都有属于自己的 Mapping 定义文档,用于描述包含的字段名和类型。每一个索引可以创建一个 “Type”(Elasticsearch 7.0之后),每个“Type”底下有相同结构的文档。

image.png

与关系型数据库类比时,当用于全文检索,Elasticsearch 比较有优势,往往会将Elasticsearch 与数据库组合使用。

image.png

关于“REST API”

“REST API”是 Elasticsearch 为了方便其他语言整合,对程序做调用。当程序需要与 Elasticsearch 做集成时,我们仅需发出 HTTP 的请求,就可以得到相应的结果。

image.png

Demo 部分请跟随课程,动手试试吧

• 查看一些与 index 的相关 API
• 进入 Kinbana Index Management 界面,探索 Index 相关的信息

知识点四:基本概念(2)- 集群 / 节点 / 分片 / 副本

关于“集群”

Elasticsearch 的“集群”是一个分布式集群,满足“高可用”、“可拓展”的特性。不仅提供存储的水平扩容,而且当出现部分节点停止服务,也不影响整个集群的服务。
Elasticsearch 官方也提供 CAT API,来帮助了解“集群”健康状况,用“green”、“yellow”、“red”,分别代表集群“主、副分片分配正常”、“主分片正常分配,副本未正常分配”、“主分片未正常分配

image.png

关于“节点”

“节点”是一个 Elasticsearch 的实例,本质上是一个 JAVA 的进程,当节点启动后,系统会分配一个 UID,保存着在 Data 目录下。

不同的节点,会承担不同的角色

image.png

其他还有很多类型节点,比如需要做日志 Case 时,有“Hot & Warm Node”、用于机器学习的“Machine Learning Node”;

每个节点启动,都会读取 Elasticsearch YML 配置文件,用于决定自己承担说明角色

image.png

关于“分片/副本”

“分片”分为 Primary Shard & Replica Shard(主、副分片)

image.png

通过分片,将数据分布在集群节点上,生产环境中,需要提前规划分片容量

当分片设置过小

  1. 导致后续无法增加节点实现水平扩展
  2. 当分片数据量超过容量,重新分配数据会耗费过多时间

当分片设置过大

  1. 影响搜索结果相关性打分。
  2. 导致统计不准确,影响性能造成浪费。

image.png

Demo 部分请跟随课程,动手试试吧

• 查看一个集群的健康状态 http://localhost:9200/_cluster/health
• CAT API

  1. http://localhost:9200/_cat/nodes
  2. 查看索引和分片

• 设置分片数
• Kibana+Cerebro 界面介绍

下周课程预告


点击预约课程

11 | 文档的基本CRUD与批量操作
12 | URI Search详解
13 | 通过Analyzer进行分词
14 | Search API概览

相关活动


更多折扣活动,请访问阿里云 Elasticsearch 官网

• 阿里云 Elasticsearch 商业通用版,1核2G首月免费
阿里云 Elasticsearch 日志增强版,首月六折,年付六折
阿里云 Logstash 2核4G首月免费


image.png

image.png

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
2月前
|
存储 机器学习/深度学习 中间件
快速上手 Elasticsearch:Docker Compose 部署详解
本文介绍了如何使用Docker Compose快速搭建Elasticsearch学习环境。Elasticsearch是一款用于实时搜索和分析的分布式中间件,适用于多种场景,如搜索、日志分析、机器学习等。首先,创建docker网络,拉取最新版8.12.2镜像。接着,编写docker-compose.yml文件,配置单节点集群,设置端口映射、内存限制及数据卷挂载。然后,创建并配置数据卷目录,允许远程访问和跨域。最后,启动服务并验证,通过浏览器访问确认服务运行正常。本文为初学者提供了一个简便的Elasticsearch部署方法。
218 4
快速上手 Elasticsearch:Docker Compose 部署详解
|
3月前
|
存储 持续交付 Docker
Docker 的基本概念和优势,以及在应用程序开发中的实际应用。
Docker 的基本概念和优势,以及在应用程序开发中的实际应用。
43 0
|
3月前
|
监控 Java Docker
从零开始,用Docker-compose打造SkyWalking、Elasticsearch和Spring Cloud的完美融合
从零开始,用Docker-compose打造SkyWalking、Elasticsearch和Spring Cloud的完美融合
447 0
|
3月前
|
SQL JSON API
ELK技术栈 - Elasticsearch 学习笔记(三)
ELK技术栈 - Elasticsearch 学习笔记(三)
42 0
|
9天前
|
虚拟化 数据中心 Docker
8.Docker相关概念
8.Docker相关概念
|
15天前
|
存储 Kubernetes Docker
Kubernetes(K8S)集群管理Docker容器(概念篇)
Kubernetes(K8S)集群管理Docker容器(概念篇)
|
27天前
|
存储 运维 数据中心
Docker 的基本概念和优势,以及在应用程序开发中的实际应用。
Docker是容器化技术,基于镜像(只读模板)创建可移植的容器,确保应用及其服务在隔离环境中运行。其优势包括快速部署(整个应用打包一次部署)、跨平台兼容、统一运行环境、资源隔离和简化依赖管理。Docker在开发和运维中都发挥作用,助力高效测试、部署和提升生产稳定性。
|
28天前
|
Linux Docker 容器
使用Docker来安装ElasticSearch,并且配置ik分词器
使用Docker来安装ElasticSearch,并且配置ik分词器
34 0
|
1月前
|
前端开发 Ubuntu 开发者
【Docker系列】Docker-核心概念/常用命令与项目部署实践
【4月更文挑战第1天】 Docker是容器化技术,打包应用及依赖,实现快速部署。核心概念包括镜像、容器和仓库。镜像是只读模板,容器是镜像运行实例,仓库用于存储和分发镜像。常用命令如`docker search`、`docker pull`、`docker images`、`docker ps`等。安装Docker在Ubuntu上涉及`apt-get update`、`install docker-ce`等步骤。了解这些基础,开发者能更高效地部署和管理应用。Docker简化了环境配置,增强了软件的可移植性和扩展性,是现代开发的必备技能。
450 3
|
2月前
|
存储 Kubernetes 虚拟化
Docker相关的概念
Docker相关的概念
14 0

相关产品

  • 检索分析服务 Elasticsearch版