开发者社区> 问答> 正文

用fluent bit搜集kubernates日志,如何处理多行数据

使用es+kibana+fluent bit搜集集群日志,但不清楚多行数据改如何搜集,docker搜集的container日志都是一行是一条日志,但如果是异常栈的日志改如何处理?求大神指点
配置如下:
[SERVICE]
Flush 1
Daemon Off
Log_Level info
Parsers_File parsers.conf
HTTP_Server On
HTTP_Listen 0.0.0.0
HTTP_Port 2020
[INPUT]
Name tail
Tag kube.*
Refresh_Interval 5
Mem_Buf_Limit 5MB
Skip_Long_Lines Off
Multiline On
Multiline_Flush 3
Parser_Firstline line-start-tag
Parser_1 log-parser-pattern1
Path /Volumes/disk/soft/sample.log
[FILTER]
Name kubernetes
Match kube.*
tls.verify Off
K8S-Logging.Parser On
K8S-Logging.Exclude On

[OUTPUT]
Name stdout
Match *
Host x-efk-f4bb0-elasticsearch
Port 9200

Logstash_Format On
Retry_Limit False
Regex_Parser Log_Parser_Pattern
Type flb_type
Logstash_Prefix cluster_logroot@x-efk-f4bb0-fluent-bit-666rs:/# cat fluent-bit/etc/parsers.conf
[PARSER]
Name kube-custom
Format regex
Regex (?1+)?.?(?a-z0-9?(?:.a-z0-9?)*)_(?2+)_(?.+)-(?[a-z0-9]{64}).log$

[PARSER]
Name filter-kube-test
Format regex
Regex (?1+)?.?(?a-z0-9?(?:.a-z0-9?)*)_(?2+)_(?.+)-(?[a-z0-9]{64}).log$
[PARSER]
Name line-start-tag
Format regex
Regex ^~[(?3)][(?3)][(?3)][(?3)][(?3)][(?3)][(?3*)]~
Time_Keep On
[PARSER]
Name log-parser-pattern1
Format regex
Regex ^~~~[(.*)$
Time_Keep On


  1. .
  2. _
  3. ~

展开
收起
hzduo1988 2019-01-08 15:53:25 7981 0
2 条回答
写回答
取消 提交回答
  • 亲爱的楼主,我也遇到了如此的问题,想问问您是否已经解决了这个fluentbit处理docker多行日志的问题呢?

    2020-01-14 12:53:18
    赞同 展开评论 打赏
  • https://github.com/fluent/fluent-bit/issues/746 目前看来 fluent bit 还不支持多行日志收集。

    2019-07-17 23:24:50
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载