Learning ELK stack 学习笔记

不错的入门书Learning ELK stack
第三章：
Logstash插件类型分为四类：
 Input
 Filter
 Output
 Codec

Logstash input类的file插件维护了一个sincedb文件追踪监控操作文件的当前位置。默认写入$HOME/.sincedb*,游标及读取频率可以通过配置修改。
file的两个配置属性：sincedb_path,sincedb_write_interval（默认15秒读取一次文件）
这里还涉及另一个配置 start_position => "beginning" 或"end"(默认)，使用beginning,如果移除了.sincedb，将重新读取历史数据，造成数据重复。
lumberjack和logstash forwarder（轻量化的logstash）使用lumberjack协议打包日志
redis经常做为logstash forwarder 与logstash的中间人角色，在高负载系统上提供获取日志的服务。

Logstash outpu类型插件：
重点是elasticsearch,email,kafka,lumberjack,redis,
Logstash filter类型插件：
date,drop,grok解析非结构化的日志转换成结构化，mutate重命名，移除，替换，修改字段，转换字段类型，合并字段等
Logstash codec类型插件：编码解码日志
json,mutliline


第五章节：
elasticsearch > indices > documents(json) > fields(_type,mapping)
                    pattern=>"logstash-%{+YYYY.MM.dd}"(默认index)
shard:index的物理存储位置，支持Primary shard and replica shard, 默认每个document使用5个shard
    replica shard分布在各个节点上，可以failover与平均负载

cluster > nodes :三种角色
                =>data node
                =>master node
                =>routing node & load banlancer node
elasticsearch api
    $curl -X '://://?'d ''
VERB:GET, POST, PUT,DELETE, HEAD
PROTOCAL:http,https
PATH:/index/type/id
OPERATION_NAME: _search, _count, and so on
QUERY_STRING: ?pretty for pretty print of JSON documents
BODY: This makes a request for body text.
查看指定index的document
thinkt@linux-pw37:~> curl -XGET 'http://192.168.56.101:9200/logstash-2016.09.09/_search?pretty'
{
  "took" : 107,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 1,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "logstash-2016.09.09",
      "_type" : "logs",
      "_id" : "AVf3tVjYndkMLGPlmtnx",
      "_score" : 1.0,
      "_source" : {
        "message" : "2016-09-09,770.099976,773.244995,759.659973,759.659973,1812200,759.659973",
        "@version" : "1",
        "@timestamp" : "2016-09-09T00:00:00.000Z",
        "path" : "/home/vagrant/table.csv",
        "host" : "localhost.localdomain",
        "Date" : "2016-09-09",
        "Open" : 770.099976,
        "High" : 773.244995,
        "Low" : 759.659973,
        "Close" : 759.659973,
        "Volume" : 1812200,
        "Adj_close" : 759.659973
      }
    } ]
  }
}
查看所有index
thinkt@linux-pw37:~> curl -XGET 'http://192.168.56.101:9200/_cat/indices?v'
health status index               pri rep docs.count docs.deleted store.size pri.store.size
yellow open   logstash-2016.03.18   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.03.17   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.03.16   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.03.15   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.06.07   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.06.08   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.06.09   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.08.31   5   1          1            0        8kb            8kb
yellow open   logstash-2016.09.01   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.08.30   5   1          1            0        8kb            8kb
yellow open   logstash-2016.03.21   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.06.14   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.09.08   5   1          1            0        8kb            8kb
yellow open   logstash-2016.06.15   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.09.09   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.06.16   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.09.06   5   1          1            0      7.9kb          7.9kb

查看集群中所有nodes
thinkt@linux-pw37:~> curl -XGET 'http://192.168.56.101:9200/_cat/nodes?v'
host      ip        heap.percent ram.percent load node.role master name
10.0.2.15 10.0.2.15           13          56 0.00 d         *      node-1

logstash 的elasticsearch 插件会自动创建index


kibana4特性:
搜索关键字高亮
聚合类型：桶，度量
可脚本化的字段
动态展示

kibana的主项：
discover,visualize,dashboard,settings

discover的search box搜索记录默认最多显示500条index documents
    time filter支持quick,absolute,relative三种时间过滤方式，并支持定义自动刷新间隔，也可以使用histogram直方图拖动选择时间。
    查询语法使用lucene语法
    Lucene     
        n.     Lucene是一个非常优秀的开源的全文搜索引擎; 我们可以在它的上面开发出各种全文搜索的应用来。Lucene在国外有很高的知名度; 现在已经是Apache的顶级项目; 在国内;
    搜索方式：search box 文本查询，field查询

visualize,dashboard


阻止数据丢失
logs > borker(redis,rabbit mq,amqp,zeroMQ) > logstash > elasticsearch > kibana > nginx
加固数据访问
elasticsearch,kibana使用SSL认证访问elasticsearch
    browser-(ssl_key_file,ssl_cert_file)->kibana->elasticsearch
Elasticsearch shield(收费）
Search guard(free)
系统伸缩性
    horizontally scalable
    fast,quick,realtime
    inexpensive便宜的
    flexable弹性灵活的
    用户量及支持力度
    开源的
    
数据保留策略
    elasticsearch curator管理indeices