Grafana与Elasticsearch

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
可观测可视化 Grafana 版,10个用户账号 1个月
简介:

  之前一直用ELK体系里的Kibana做ES的WEB前端展示,kibana功能简单,可以直接显示log的内容,非常人性化,缺陷是没有权限、用户管理(我之前用Nginx和haproxy其中之一来代替),图形展示不够丰富,管理api等限制,更由于我需要更丰富的图形展示功能,所以开始寻找他的替代品Grafana。

  Grafana简绍:

  1. Grafana是用于可视化大型测量数据的开源程序,他提供了强大和优雅的方式去创建、共享、浏览数据。dashboard中显示了你不同metric数据源中的数据。

  2. Grafana最常用于因特网基础设施和应用分析,但在其他领域也有机会用到,比如:工业传感器、家庭自动化、过程控制等等。

  3. Grafana有热插拔控制面板和可扩展的数据源,目前已经支持Graphite、InfluxDB、OpenTSDB、Elasticsearch。

  这里先简单介绍下我的应用场景,ES用作时序数据库,后端agent每分钟读取云平台的性能监控数据,通过Kafka存到ES里。使用JSON数据存储格式,ES每天1.8亿条doc,因为数据包比较小,ES的

Primary Size每天30多G。

数据存储格式如下:

wKioL1lI7QHRGURTAAFeXK7R0Kc583.png-wh_50

Grafana展示的效果截图:

wKioL1lI72XDvd9kAAKdXzhlS6k521.png-wh_50

wKioL1lI79PjfhKCAAHx_yRgW90211.png-wh_50

具体实现:

一、添加elasticsearch数据源

  默认Grafana是安装了ES插件的,如果没装需要安装相应data source插件。

点击Data Sources-->Add data source--> Type-->elasticsearch

wKiom1lJxwLCt80aAAD9pVW9rSo861.png-wh_50

:代理访问(access proxy)意味着,Grafana的后端将代理从浏览器的所有请求,并将它们发送到数据源。这很有用,因为它可以消除CORS(跨域站点资源)的问题,以及消除到浏览器的传播认证。

如果你选择直接访问(access direct)必须更新Elasticsearch配置允许从浏览器进行其他域的访问。可以通过在elasticsearch.yml指定如下配置选项:

1
2
http.cors.enabled:  true
http.cors.allow-origin:  "*"

二、Metric查询编辑器

  Elasticsearch查询编辑器允许选择多个指标和组由多个条款或过滤器。在右边使用加号和减号图标来添加/删除索引或按子句分组。有些度量值和组子句都有选项,单击选项文本以展开视图并按选项编辑公制或组。

wKioL1lJ44rgQuYJAAEmKSj43Pg564.png-wh_50

  1. Query:Lucence查询语法,跟kibana的查询一样,详情请查阅ES的官方文档

  2. Metric:计量的标准,可以取最大、最小、平均值或者count条目数等,Options可以进行脚本的计算,这里我把value的值乘以8,来进行网络Byte和bite的换算。

  3. Group by:排序标准。可以以时间轴进行排序,也可以以自定义的term进行排序。需要这里需要注意一点,ES里如果需要以自定义的字符串term进行排序,会报错:"Fielddata is disabled on text fields by default.";报错信息如下图所示:wKioL1lJ0VSCZ5juAAGxW6JubI0429.png-wh_50

    解决办法是用"keyword"进行排序,需要手动加入后缀'.keyword',参考文档如下:https://www.elastic.co/guide/en/elasticsearch/reference/current/fielddata.html

  4. Query里也可以用变量来代替,变量是在templating里预先定义好的。后面再详细介绍templating的概念。

三、Axes选项

    这里可以进行X轴和Y轴的定义。

wKioL1lJ0rvDDEahAACivA6w7i8843.png-wh_50

  1. Unit设置单位的换算,grafana这里自带了多种单位换算,包括时间、吞吐、温度等;

  2. X-Axis里"mode"的选择,如果是要曲线图可以选择"Time",如果是要画柱状图可以选择"histogram"

四、Legend选项

    这里主要进行图上显示文字的设置。

wKioL1lJ1D_zhF5mAACYNs8u-XY750.png-wh_50

如果不勾选“show”则不会在图上显示相关value的信息。

五、Display选项

    这里主要进行如何画图的一些设置。也可以在图上设置阀值,超出阀值会自动突出显示。

  1. Draw Mode:绘制模式,选择线绘图还是柱状图绘图,更改之后需要和Axes中X-Axis的modes联调,才能正确绘图。

    Mode Option: ‘Fill’填充程序,如果设置为0,则不填充,完全是一条线的形式展示。如图所示:

    wKiom1lJ1iTRzl3LAAIUcP4GY04754.png-wh_50

    ‘Staircase’如果勾选则以阶梯的形式画图,如图示:wKiom1lJ1n6xEG9gAADNyBj1uXc934.png-wh_50

  2. Stacking & Null value:这里需要注意‘Null value’的选择,选择‘connected’,在空值的时候画图会自动把线进行前后衔接,如果设置为零,会画出驼峰的形状。

  3. Thresholds:阀值的设置:

    wKiom1lJ17-iClJxAACdlau_qJA281.png-wh_50

   效果图如下:

   wKioL1lJ1_iBjazIAAIL65_EXmY331.png-wh_50

六、Alert选项

    报警设置,需要提前配置好报警邮箱,遗憾的一点Elasticsearch目前版本还不支持Alert的配置,我已经在grafana的github issue上给ES投了一票,建议有类似需求的同学也积极参与进来。

七、Templating

Templating在dashboard manage里设置:

wKiom1lJ2g_gfKjHAACFraUphYc334.png-wh_50

wKiom1lJ2nSxeAGbAAFObDd9eTM345.png-wh_50

"Edit"添加变量,变量创建完成会在dashboard顶部显示,这里同样用的Lucene的查询语法:

wKioL1lJ2sPAjziNAAGTFm7jGfQ734.png-wh_50

变量的使用,在Metric里面用‘$’或者‘[[]]’进行变量的调用:

wKioL1lJ2zXjTBYQAADTmcpxz8U393.png-wh_50

另外在General的Title里面也可以调用templating里定义的变量,这样图的标题也会随着变量的改变而改变。

  最后强调一点,更改完所有配置之后不要忘记点击保存按钮进行保存。

更多详细配置见文档:http://docs.grafana.org/features/datasources/elasticsearch/#using-elasticsearch-in-grafana

Grafana官方文档:http://docs.grafana.org/




      本文转自Jx战壕  51CTO博客,原文链接:http://blog.51cto.com/xujpxm/1940439,如需转载请自行联系原作者




相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
2月前
|
JSON Prometheus Cloud Native
Grafana 系列 - 统一展示 -8-ElasticSearch 日志快速搜索仪表板
Grafana 系列 - 统一展示 -8-ElasticSearch 日志快速搜索仪表板
|
2月前
|
存储 数据可视化 索引
Grafana 系列 - 统一展示 -7-ElasticSearch 数据源
Grafana 系列 - 统一展示 -7-ElasticSearch 数据源
|
索引
grafana elasticsearch date类型问题
大致的数据格式 { "createTime": 1484967199, "ip": "localhost", "appId": "10000", "thre...
2176 0
|
存储 监控 Cloud Native
用Grafana为Elasticsearch做日志分析
版权声明:本文为博主chszs的原创文章,未经博主允许不得转载。 https://blog.csdn.net/chszs/article/details/50373453 用Grafana为Elasticsearch做日志分析 作者:chszs,未经博主允许不得转载。
1719 0
|
9天前
|
数据可视化 索引
elasticsearch head、kibana 安装和使用
elasticsearch head、kibana 安装和使用
|
21天前
|
存储 负载均衡 索引
linux7安装elasticsearch-7.4.0集群配置
linux7安装elasticsearch-7.4.0集群配置
109 0
|
2月前
|
存储 监控 搜索推荐
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——安装篇(一)
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——安装篇(一)
|
4月前
ElasticSearch-Head浏览器插件离线安装
ElasticSearch-Head浏览器插件离线安装
91 0
|
8天前
|
JSON Unix Linux
Elasticsearch如何安装
Elasticsearch如何安装
|
3月前
|
前端开发 安全 Ubuntu
Elasticsearch安装和配置
Elasticsearch安装和配置
116 0