AI 助理
备案控制台
开发者社区 云存储 文章 正文

日志服务数据加工最佳实践: 解析syslog各种标准格式

2019-08-02 4761
版权
举报
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
对象存储 OSS，20GB 3个月
推荐场景：
基于PAI-EAS挂载OSS部署AIGC服务 ossutil工具管理OSS
阿里云盘企业版 CDE，企业版用户数5人 500GB空间
日志服务 SLS，月写入数据量 50GB 1个月
简介： 本篇介绍日志服务数据加工最佳实践: 解析syslog各种标准格式的整体结构, 覆盖RFC524, RFC3164以及RSyslog的标准配置格式: TraditionalFormat, FileFormat, RSYSLOG_SyslogProtocol23Format, RSYSLOG_Debug.

概况

syslog是一种工业标准的协议，可用来记录设备的日志。在UNIX系统，路由器、交换机等网络设备中，系统日志(System Log)记录系统中任何时间发生的大小事件。管理者可以通过查看系统记录，随时掌握系统状况。UNIX的系统日志是通过syslogd这个进程记录系统有关事件记录，也可以记录应用程序运作事件。通过适当的配置，还可以实现运行syslog协议的机器间通信，通过分析这些网络行为日志，藉以追踪掌握与设备和网络有关的状况。

问题

在Unix类操作系统上，syslog广泛应用于系统日志。syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收syslog的服务器。接收syslog的服务器可以对多个设备的syslog消息进行统一的存储，或者解析其中的内容做相应的处理。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。
但是，长期以来，没有一个标准来规范syslog的格式，导致syslog的格式是非常随意的。最坏的情况下，根本就没有任何格式，导致程序不能对syslog 消息进行解析，只能将它看作是一个字符串。对syslog日志解析一直是比较令人头疼的事情，本篇介绍如何使用LOG DSL中的grok高效快捷的去解析不同格式的syslog日志

解决方案

syslog协议标准

目前业界存在常见两种syslog日志协议，一个是2009年起草协议RFC524，另外一个是2001年的RFC3164协议。以下，为大家介绍这两种协议的不同之处，以便能够在以后实践中能够灵活应用grok解析syslog日志。

RFC5424协议

RFC5424协议包含以下字段信息，具体信息可以参考官方协议（https://tools.ietf.org/html/rfc5424）

PRI VERSION SP TIMESTAMP SP HOSTNAME SP APP-NAME SP PROCID SP MSGID

        

          
        

        
        

          

          AI 代码解读

以下通过几个示例来解释以上字段代表信息：

"""
Example1:
<34>1 2019-07-11T22:14:15.003Z aliyun.example.com ali - ID47 - BOM'su root' failed for lonvick on /dev/pts/8
"""
PRI -- 34
VERSION -- 1
TIMESTAMP -- 2019-07-11T22:14:15.003Z
HOSTNAME -- aliyun.example.com
APP-NAME -- ali
PROCID -- 无
MSGID -- ID47
MESSAGE -- 'su root' failed for lonvick on /dev/pts/8
"""
Example-2:
<165>1 2019-07-11T22:14:15.000003-07:00 192.0.2.1 myproc 8710 - - %% It's time to make the do-nuts.
"""
PRI -- 165
VERSION -- 1
TIMESTAMP -- 2019-07-11T05:14:15.000003-07:00
HOSTNAME -- 192.0.2.1
APP-NAME -- myproc
PROCID -- 8710
STRUCTURED-DATA -- “-”
MSGID -- “-”
MESSAGE -- "%% It's time to make the do-nuts."
"""
Example3: - with STRUCTURED-DATA
<165>1 2019-07-11T22:14:15.003Z aliyun.example.com
           evntslog - ID47 [exampleSDID@32473 iut="3" eventSource=
           "Application" eventID="1011"] BOMAn application
           event log entry...
"""
PRI -- 165
VERSION -- 1
TIMESTAMP -- 2019-07-11T22:14:15.003Z
HOSTNAME -- aliyun.example.com
APP-NAME -- evntslog
PROCID -- "-"
MSGID -- ID47
STRUCTURED-DATA -- [exampleSDID@32473 iut="3" eventSource="Application" eventID="1011"]
MESSAGE -- An application event log entry...

        

          
        

        
        

          

          AI 代码解读

RFC3164协议

RFC3164协议包含以下字段信息，具体信息可以参考官方协议（https://tools.ietf.org/html/rfc3164）

PRI HEADER[TIME HOSTNAME] MSG

        

          
        

        
        

          

          AI 代码解读

以下通过几个示例来解释以上字段代表信息：

"""
<30>Oct 9 22:33:20 hlfedora auditd[1787]: The audit daemon is exiting.
"""
PRI -- 30
HEADER
- TIME -- Oct 9 22:33:20
- HOSTNAME -- hlfedora
MSG
- TAG -- auditd[1787]
- Content --The audit daemon is exiting.

        

          
        

        
        

          

          AI 代码解读

grok解析syslog常见格式

以上内容介绍了syslog，接下来进入实践解析阶段。在syslog配置文件中为用户定制了几种常用格式的syslog，以下使用grok一一解析。此外，syslog采集到logstore上要使用文本格式采集。
具体的grok规则可参考grok模式参考:

TraditionalFormat格式

日志内容形式如下：

May  5 10:20:57 iZbp1a65x3r1vhpe94fi2qZ systemd: Started System Logging Service.

        

          
        

        
        

          

          AI 代码解读

LOG DSL编排规则处理:

"""
处理前日志格式：
    receive_time: 1558663265
    __topic__:
    content: May  5 10:20:57 iZbp1a65x3r1vhpe94fi2qZ systemd: Started System Logging Service.
处理后日志格式：
    receive_time: 1558663265
    __topic__:
    content: May  5 10:20:57 iZbp1a65x3r1vhpe94fi2qZ systemd: Started System Logging Service.
    timestamp: May  5 10:20:57
    logsource: iZbp1a65x3r1vhpe94fi2qZ
    program: systemd
    message: Started System Logging Service.
"""
e_regex('content', grok('%{SYSLOGBASE} %{GREEDYDATA:message}'))

        

          
        

        
        

          

          AI 代码解读

FileFormat格式

日志内容形式如下：

2019-05-06T09:26:07.874593+08:00 iZbp1a65x3r1vhpe94fi2qZ root: 834753

        

          
        

        
        

          

          AI 代码解读

LOG DSL编排规则处理:

"""
处理前日志格式：
    receive_time: 1558663265
    __topic__:
    content: 2019-05-06T09:26:07.874593+08:00 iZbp1a65x3r1vhpe94fi2qZ root: 834753
处理后日志格式：
    receive_time: 1558663265
    __topic__:
    content: 2019-05-06T09:26:07.874593+08:00 iZbp1a65x3r1vhpe94fi2qZ root: 834753
    timestamp: 2019-05-06T09:26:07.874593+08:00
    hostname: iZbp1a65x3r1vhpe94fi2qZ
    program: root
    message: 834753
"""
e_regex('content',grok('%{TIMESTAMP_ISO8601:timestamp} %{SYSLOGHOST:hostname} %{SYSLOGPROG} %{GREEDYDATA:message}'))

        

          
        

        
        

          

          AI 代码解读

RSYSLOG_SyslogProtocol23Format格式

日志内容形式如下：

<13>1 2019-05-06T11:50:16.015554+08:00 iZbp1a65x3r1vhpe94fi2qZ root - - - twish

        

          
        

        
        

          

          AI 代码解读

LOG DSL编排规则处理:

"""
处理前日志格式：
    receive_time: 1558663265
    __topic__:
    content: <13>1 2019-05-06T11:50:16.015554+08:00 iZbp1a65x3r1vhpe94fi2qZ root - - - twish
处理后日志格式：
    receive_time: 1558663265
    __topic__:
    content: <13>1 2019-05-06T11:50:16.015554+08:00 iZbp1a65x3r1vhpe94fi2qZ root - - - twish
    priority: 13
    version: 1
    timestamp: 2019-05-06T11:50:16.015554+08:00
    hostname: iZbp1a65x3r1vhpe94fi2qZ
    program: root
    message: twish
"""
e_regex('content',grok('%{POSINT:priority}>%{NUMBER:version} %{TIMESTAMP_ISO8601:timestamp} %{SYSLOGHOST:hostname} %{PROG:program} - - - %{GREEDYDATA:message}'))

        

          
        

        
        

          

          AI 代码解读

RSYSLOG_DebugFormat格式

日志内容形式如下：

2019-05-06T14:29:37.558854+08:00 iZbp1a65x3r1vhpe94fi2qZ root: environment

        

          
        

        
        

          

          AI 代码解读

LOG DSL编排规则处理:

"""
处理前日志格式：
    receive_time: 1558663265
    __topic__:
    content: 2019-05-06T14:29:37.558854+08:00 iZbp1a65x3r1vhpe94fi2qZ root: environment
处理后日志格式：
    receive_time: 1558663265
    __topic__:
    content: 2019-05-06T14:29:37.558854+08:00 iZbp1a65x3r1vhpe94fi2qZ root: environment
    timestamp: 2019-05-06T14:29:37.558854+08:00 
    hostname: iZbp1a65x3r1vhpe94fi2qZ
    program: root
    message: environment
"""
e_regex('content',grok('%{TIMESTAMP_ISO8601:timestamp} %{SYSLOGHOST:hostname} %{SYSLOGPROG} %{GREEDYDATA:message}'))

        

          
        

        
        

          

          AI 代码解读

自此，syslog配置文件常见log日志文件格式解析已解析完成，接下来介绍两种FluentSyslog日志格式。

FluentRFC5424格式

日志内容形式如下：

<16>1 2013-02-28T12:00:00.003Z 192.168.0.1 fluentd 11111 ID24224 [exampleSDID@20224 iut='3' eventSource='Application' eventID='11211] Hi, from Fluentd!

        

          
        

        
        

          

          AI 代码解读

LOG DSL编排规则处理:

"""
处理前日志格式：
    receive_time: 1558663265
    __topic__:
    content: <16>1 2019-02-28T12:00:00.003Z 192.168.0.1 aliyun 11111 ID24224 [exampleSDID@20224 iut='3' eventSource='Application' eventID='11211] Hi, from Fluentd!
处理后日志格式：
    receive_time: 1558663265
    __topic__:
    content: <16>1 2019-02-28T12:00:00.003Z 192.168.0.1 aliyun 11111 ID24224 [exampleSDID@20224 iut='3' eventSource='Application' eventID='11211] Hi, from aliyun!
    priority: 16
    version: 1
    timestamp: 2019-02-28T12:00:00.003Z
    hostname: 192.168.0.1
    ident: aliyun
    pid: 1111
    msgid: ID24224
    extradata: [exampleSDID@20224 iut='3' eventSource='Application' eventID='11211]
    message: Hi, from aliyun!
"""
e_regex('content',grok('%{POSINT:priority}>%{NUMBER:version} %{TIMESTAMP_ISO8601:timestamp} %{SYSLOGHOST:hostname} %{WORD:ident} %{NUMBER:pid} %{USERNAME:msgid} (?P<extradata>(\[(.*)\]|[^ ])) %{GREEDYDATA:message}'))

        

          
        

        
        

          

          AI 代码解读

FluentRFC3164格式

日志内容形式如下：

<6>Feb 28 12:00:00 192.168.0.1 fluentd[11111]: [error] Syslog test

        

          
        

        
        

          

          AI 代码解读

LOG DSL编排规则处理:

"""
处理前日志格式：
    receive_time: 1558663265
    __topic__:
    content: <6>Feb 28 12:00:00 192.168.0.1 aliyun[11111]: [error] Syslog test
处理后日志格式：
    receive_time: 1558663265
    __topic__:
    content: <6>Feb 28 12:00:00 192.168.0.1 aliyun[11111]: [error] Syslog test
    priority: 6
    timestamp: Feb 28 12:00:00
    hostname: 192.168.0.1
    ident: aliyun
    pid: [1111]
    level: [error]
    message: Syslog test
"""
e_regex('content', grok('%{POSINT:priority}>%{SYSLOGTIMESTAMP:timestamp} %{SYSLOGHOST:hostname} %{WORD:ident}(?P<pid>(\[(\d+)\]|[^:])): (?P<level>(\[(\w+)\]|[^ ])) %{GREEDYDATA:message}'))

        

          
        

        
        

          

          AI 代码解读

对priority做进一步解析

针对，以上解析过后的日志内容还可以对priority进一步解析，并且匹配出解析出来的facility和serverity信息，使用RFC5424协议更多参考e_syslogrfc函数，如下：

"""
处理前日志格式：
    receive_time: 1558663265
    __topic__:
    content: <13>1 2019-05-06T11:50:16.015554+08:00 iZbp1a65x3r1vhpe94fi2qZ root - - - twish
    priority: 13
    version: 1
    timestamp: 2019-05-06T11:50:16.015554+08:00
    hostname: iZbp1a65x3r1vhpe94fi2qZ
    program: root
    message: twish
处理后日志格式：
    receive_time: 1558663265
    __topic__:
    content: <13>1 2019-05-06T11:50:16.015554+08:00 iZbp1a65x3r1vhpe94fi2qZ root - - - twish
    priority: 13
    version: 1
    timestamp: 2019-05-06T11:50:16.015554+08:00
    hostname: iZbp1a65x3r1vhpe94fi2qZ
    program: root
    message: twish
    _facility_: 1
    _severity_: 5
    _severitylabel_: Notice: normal but significant condition
    _facilitylabel_: user-level messages
"""
e_syslogrfc("priority","SYSLOGRFC5424")

        

          
        

        
        

          

          AI 代码解读

总结

通过以上内容，覆盖了syslog各种常见日志解析。syslog格式还有很多种，解析方法还是推荐使用LOG DSL的grok解析效率更快更高。grok还可以解析其他类型的log内容，比如Apache、Http错误日志等等。
如果解析出来之后的message或者body. 还需要进一步解析的，有各种方式：grok, 正则或者CSV等等

进一步参考

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:
image

文章标签：
日志服务
云解析DNS
监控
Unix
关键词：
日志服务解析
日志云解析DNS
日志服务数据
云解析DNS最佳实践
云解析DNS数据
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
成喆
+关注
82文章2问答
目录
打赏
0
0
0
0
3963
分享
相关文章
Quan_Chen
|
11天前
|
存储 Java 文件存储
微服务——SpringBoot使用归纳——Spring Boot使用slf4j进行日志记录—— logback.xml 配置文件解析
本文解析了 `logback.xml` 配置文件的详细内容，包括日志输出格式、存储路径、控制台输出及日志级别等关键配置。通过定义 `LOG_PATTERN` 和 `FILE_PATH`，设置日志格式与存储路径；利用 `&lt;appender&gt;` 节点配置控制台和文件输出，支持日志滚动策略（如文件大小限制和保存时长）；最后通过 `&lt;logger&gt;` 和 `&lt;root&gt;` 定义日志级别与输出方式。此配置适用于精细化管理日志输出，满足不同场景需求。
Quan_Chen
81 1
奔跑的数据
|
26天前
|
数据采集 JSON 数据可视化
JSON数据解析实战：从嵌套结构到结构化表格
在信息爆炸的时代，从杂乱数据中提取精准知识图谱是数据侦探的挑战。本文以Google Scholar为例，解析嵌套JSON数据，提取文献信息并转换为结构化表格，通过Graphviz制作技术关系图谱，揭示文献间的隐秘联系。代码涵盖代理IP、请求头设置、JSON解析及可视化，提供完整实战案例。
奔跑的数据
87 4
JSON数据解析实战：从嵌套结构到结构化表格
1678841753238844
|
6天前
|
监控 Shell Linux
Android调试终极指南：ADB安装+多设备连接+ANR日志抓取全流程解析，覆盖环境变量配置/多设备调试/ANR日志分析全流程，附Win/Mac/Linux三平台解决方案
ADB（Android Debug Bridge）是安卓开发中的重要工具，用于连接电脑与安卓设备，实现文件传输、应用管理、日志抓取等功能。本文介绍了 ADB 的基本概念、安装配置及常用命令。包括：1) 基本命令如 `adb version` 和 `adb devices`；2) 权限操作如 `adb root` 和 `adb shell`；3) APK 操作如安装、卸载应用；4) 文件传输如 `adb push` 和 `adb pull`；5) 日志记录如 `adb logcat`；6) 系统信息获取如屏幕截图和录屏。通过这些功能，用户可高效调试和管理安卓设备。
1678841753238844
140 1
蓝易云
|
17天前
|
监控 Java 应用服务中间件
Tomcat log日志解析
理解和解析Tomcat日志文件对于诊断和解决Web应用中的问题至关重要。通过分析 `catalina.out`、`localhost.log`、`localhost_access_log.*.txt`、`manager.log`和 `host-manager.log`等日志文件，可以快速定位和解决问题，确保Tomcat服务器的稳定运行。掌握这些日志解析技巧，可以显著提高运维和开发效率。
蓝易云
78 13
1786310562865821
|
20天前
|
JSON 监控 网络协议
Bilibili直播信息流：连接方法与数据解析
本文详细介绍了自行实现B站直播WebSocket连接的完整流程。解析了基于WebSocket的应用层协议结构，涵盖认证包构建、心跳机制维护及数据包解析步骤，为开发者定制直播数据监控提供了完整技术方案。
1786310562865821
66 9
技术交流18179014480
|
27天前
|
机器学习/深度学习 JSON 算法
淘宝拍立淘按图搜索API接口系列的应用与数据解析
淘宝拍立淘按图搜索API接口是阿里巴巴旗下淘宝平台提供的一项基于图像识别技术的创新服务。以下是对该接口系列的应用与数据解析的详细分析
技术交流18179014480
46 4
蓝易云
|
2月前
|
Java API 数据处理
深潜数据海洋：Java文件读写全面解析与实战指南
通过本文的详细解析与实战示例，您可以系统地掌握Java中各种文件读写操作，从基本的读写到高效的NIO操作，再到文件复制、移动和删除。希望这些内容能够帮助您在实际项目中处理文件数据，提高开发效率和代码质量。
蓝易云
37 4
WBKJ_Noah18870292986
|
18天前
|
缓存 监控 搜索推荐
【实战解析】smallredbook.item_get_video API：小红书视频数据获取与电商应用指南
本文介绍小红书官方API——`smallredbook.item_get_video`的功能与使用方法。该接口可获取笔记视频详情，包括无水印直链、封面图、时长、文本描述、标签及互动数据等，并支持电商场景分析。调用需提供`key`、`secret`和`num_iid`参数，返回字段涵盖视频链接、标题、标签及用户信息等。同时，文章提供了电商实战技巧，如竞品监控与个性化推荐，并列出合规注意事项及替代方案对比。最后解答了常见问题，如笔记ID获取与视频链接时效性等。
WBKJ_Noah18870292986
28 0
小白学大数据
|
2月前
|
数据采集 前端开发 API
SurfGen爬虫：解析HTML与提取关键数据
SurfGen爬虫：解析HTML与提取关键数据
小白学大数据
80 6
WBKJ_Noah18870292986
|
26天前
|
存储 缓存 监控
如何高效爬取天猫商品数据？官方API与非官方接口全解析
本文介绍两种天猫商品数据爬取方案：官方API和非官方接口。官方API合法合规，适合企业长期使用，需申请企业资质；非官方接口适合快速验证需求，但需应对反爬机制。详细内容涵盖开发步骤、Python实现示例、反爬策略、数据解析与存储、注意事项及扩展应用场景。推荐工具链包括Playwright、aiohttp、lxml等。如需进一步帮助，请联系作者。
WBKJ_Noah18870292986
55 0

云存储
+关注

热门文章

最新文章

  • 1
    5分钟搭建网站实时分析：Grafana+日志服务实战
    71561
  • 2
    如何打造千万级Feed流系统
    46359
  • 3
    OSS PostObject错误及排查
    42184
  • 4
    开放分布式追踪（OpenTracing）入门与 Jaeger 实现
    33769
  • 5
    现代IM系统中消息推送和存储架构的实现
    30939
  • 6
    使用日志服务LogHub替换Kafka
    25888
  • 7
    日志服务与SIEM集成方案实战（二）：syslog篇
    24488
  • 8
    OSS重磅推出OSS Select——使用SQL选取文件的内容
    24047
  • 9
    号外号外~~OSS监控服务上线啦！！
    22608
  • 10
    《Kafka Stream》调研：一种轻量级流计算模式
    22424
  • 1
    AI变革药物研发：深势科技的云原生实践之路
    87
  • 2
    一文总览阿里云存储产品年度升级！
    78
  • 3
    阿里云安全体检工具使用体验评测
    48
  • 4
    【阿里云】操作系统控制台——体验与测评
    66
  • 5
    AutoMQ x OSS 的 Iceberg 数据入湖的最佳实践
    143
  • 6
    如何将DVD转ISO文件？完整指南与最佳工具推荐
    124
  • 7
    利用阿里云OSS（对象存储服务）快速搭建私人网盘
    198
  • 8
    即时通讯开源项目OpenIM配置离线推送全攻略
    107
  • 9
    即时通讯开源项目OpenIM配置可视化-etcd配置中心
    73
  • 10
    零基础构建即时通讯开源项目OpenIM移动端-Flutter篇
    121

    • 相关产品

  • 日志服务
    文档详情 产品详情

    • 相关课程

    更多
  • 云计算工程师解析与实战-网络专家篇（体验版）
  • 深入解析Docker容器化技术
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析
  • Java面试疑难点解析 - 面试技巧及语言基础
  • Java面试疑难点解析 - Java Web开发
  • Java面试疑难点解析 - 系统架构及项目设计

    • 相关电子书

    更多
  • PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接

    • 相关实验场景

    更多
  • 使用CloudLens管理SLS日志采集
  • 使用CloudLens采集PolarDB日志并进行审计分析
  • 使用CloudLens采集RDS日志并进行审计分析
  • 使用日志服务SLS进行OSS可观测分析
  • 多账号体系下使用日志服务中心化的管理日志
  • 日志服务之告警接入与管理

    • 推荐镜像

    更多
  • DNS
  • squid
  • kubernetes
    • 下一篇
    基于ECS搭建云上博客
    目录