awk高级企业级使用案例

简介: 一、背景:       以某物联网企业,传感器设备实时数据消费服务(Kafka-consumer)为例,调试筛选处理耗时的主题。1. 原始日志格式(logback输出的):2018-07-11 11:49:22.

一、背景:

       以某物联网企业,传感器设备实时数据消费服务(Kafka-consumer)为例,调试筛选处理耗时的主题。

1. 原始日志格式(logback输出的):

2018-07-11 11:49:22.413  INFO 29244 --- [TW_safeclound_elec_line_v-1531280885818] c.s.s.s.l.TimeoutInvokeMethodAspect      : 消费处理耗时: 10148 ms, method=ConsumerElecLineVDataListener.lineVData(..), args={"addr":"11111118","bid":"QQBE","cid":"BLWY","dataType":"ELE_R_LV","id":"11111118,85,117,ELE_R_LV,1531280962413","lineAB":396.77,"lineBC":395.75,"lineCA":396.42,"meterType":"117","order":"85","timestamp":1531280951758}

2. 使用tail+awk命令进行耗时执行方法筛选:

[root@web-prod ~]# tail -f /mnt/disk1/sink/logs/sink.log|grep 耗时| awk -F ' ' '$10>200 && $10<500{print $1,$2,$6,$10,$11}'

2018-07-14 22:59:40.163 [TW_safeclound_largestDemand-1531512341755] 441 ms,

2018-07-14 22:59:40.516 [TW_safeclound_rate_v-1531512332686] 363 ms,

2018-07-14 22:59:40.665 [TW_safeclound_rate_i-1531512317893] 375 ms,

2018-07-14 22:59:40.866 [TW_safeclound_water-1531512518874] 332 ms,

...

3. 注释:

a. 其中 awk的 -F 参数表示:日志字符串分隔符,默认为 ' ' 空格;

b. $10>100 表示我要筛选耗时大于 100 毫秒的日志;

c. {print $1,$2,$6,$10,$11} 表示打印被awk分隔后的 第1段(日期)、第2段(时间)、第6段(主题)、第10段(耗时)、第11段字符串(耗时单位);

d. 其中 $10>200 && $10<500 表示我要筛选耗时在200~500之前的消费主题;

目录
相关文章
|
运维 Shell Linux
文本三剑客sed高级用法和企业级实战| 学习笔记
快速学习文本三剑客sed高级用法和企业级实战
106 0
|
运维 监控 应用服务中间件
实现 playbook 高级应用和企业级实战| 学习笔记
快速学习实现 playbook 高级应用和企业级实战
96 0
|
网络协议 Linux Shell
Linux网络配置企业级用法实战
一、route命令的局限性 二、动态路由的配置 三、专业路由工具
Linux网络配置企业级用法实战
|
SQL 机器学习/深度学习 Cloud Native
.NET 云原生架构师训练营(模块二 基础巩固 EF Core 更新和迁移)--学习笔记
- 状态 - 自动变更检测 - 不查询删除和更新 - 并发
225 0
.NET 云原生架构师训练营(模块二 基础巩固 EF Core 更新和迁移)--学习笔记
|
SQL Cloud Native 架构师
.NET 云原生架构师训练营(模块二 基础巩固 EF Core 查询)--学习笔记
- 关联数据加载 - 客户端与服务端运算 - 跟踪与不跟踪 - 复杂查询运算 - 原生 SQL 查询 - 全局查询筛选器
212 0
.NET 云原生架构师训练营(模块二 基础巩固 EF Core 查询)--学习笔记
|
存储 开发框架 Cloud Native
.NET 云原生架构师训练营(模块二 基础巩固 EF Core 基础与配置)--学习笔记
- 连接字符串 - 异步编程 - 日志 - DbContext池 - 类和配置表 - 属性和列配置 - 并发token - 索引
283 0
.NET 云原生架构师训练营(模块二 基础巩固 EF Core 基础与配置)--学习笔记
|
设计模式 开发框架 Cloud Native
.NET 云原生架构师训练营(模块二 基础巩固 日志)--学习笔记
- ILogger 的使用 - 日志的 ID - 日志的分类 - 日志的级别 - LoggerProvider - 日志的最佳实践
231 0
.NET 云原生架构师训练营(模块二 基础巩固 日志)--学习笔记
|
XML 数据格式 索引
awk高级玩法
1. 程序元素 一个awk 程序是一对以模式(pattern) 与大括号框起来的操作(action) 组合而成的,或许,还会加上实现操作细节的函数(function ) 。针对每个匹配于输人数据的模式,操作会被执行,且所有模式都会针对每条输人记录而检查。
1116 0
|
人工智能 运维 应用服务中间件