redis服务器及采集端设置

  1. 云栖社区>
  2. 博客>
  3. 正文

redis服务器及采集端设置

科技小能手 2017-11-12 18:43:00 浏览414 评论0

摘要: redis(logstash).conf内容                #服务端配置,logstash抓取redis数据,配置名自取   例一                          #从redis读数据 input {    redis {        host => "127.

redislogstash.conf内容                #服务端配置,logstash抓取redis数据,配置名自取

 

例一                          #redis读数据

input {

   redis {

       host => "127.0.0.1"

       port => 6379

       type => "redis-input"

       data_type => "list"

       key => "logstash:redis"

    }

}

 

output {                                          #输出到ela

  

   stdout {}

   elasticsearch {

       cluster => "elasticsearch"

       codec => "json"

        protocol => "http"

    }

}

 

例二                                          #redis读数据

 

  input {

 redis { 

   host => '192.168.233.130' 

   data_type => 'list' 

   port => "6379" 

   key => 'logstash:redis' 

   type => 'redis-input' 

        } 

        }

   

 output {                               #输出到ela

     elasticsearch { 

     embedded => true 

                   } 

        } 

 

 

 

logstash-kibama 9292

logstash-redis 6379

logstash-elasticsearch 9200
kibana 5601
 
 

 # vim redislogstash.conf                                #日志收集端配置,logstash集被监听日志文件数据,配置名自取

 
  input {                                      #收集监控端日志文件
      file {
      type => "producer"
      path => "/soft/apache.log"
      }
      file {
      type => "php-log"
      path => "/soft/php.log"
      }
  }
  filter {    # 日志内容里面只要有匹配 mysql或GET或error的内容就                   会被过滤出来,发送到 logstash index
         grep {
         match => [ "@message", "mysql|GET|error" ]
              }
         }
   
  output {                            #将收集的日志文件发送到redis
        redis {
        host => '192.168.233.130'
        data_type => 'list'
        key => 'logstash:redis'
         }
         }
 



测试程序发送数据 -> Redis消息队列 -> Logstash -> Elasticsearch集群
 

 通过管线化的思路增加索引速度

为了解决Redis队列的瓶颈问题,使用多管线机制,来增加整个系统的吞吐量,为此,我们同时部署了多个Redis实例,和对应数量的Logstash实例:

测试程序发送数据 -> Redis消息队列1 ->Logstash1 -> Elasticsearch集群

测试程序发送数据 -> Redis消息队列2 ->Logstash2 -> Elasticsearch集群

测试程序发送数据 -> Redis消息队列3 ->Logstash3 -> Elasticsearch集群

...

采用管线机制的好处是,扩展性是显而易见的
 
本文转自 wdy198622 51CTO博客,原文链接:http://blog.51cto.com/weimouren/1732075


【云栖快讯】阿里巴巴小程序繁星计划,20亿补贴第一弹云应用免费申请,限量从速!  详情请点击

网友评论