shell第一列相同即判断为重复,只取其中一条数据

简介:

例如 123456.txt内容如下

90115601,2137786735     36684

90115601,2137786735     36684

90118301,17751822       34898

90145133,2050186877     3847

90145133,2050186877     3847

90151825,3580430507     37974

90151825,3580430507     37974

90188754,2987861307     24533

90188754,2987861307     24533

910910,1303405168       1855

910910,514876016        1555

991314,1879979639       49504

991314,4119267805       50922

998008,1453233015       13818


取第一条数据

tac 123456.txt |awk  -F, '!a[$1]++'  |sort -t"," -k1


取最后一条数据

cat 123456.txt |awk  -F, '!a[$1]++'  |sort -t"," -k1










本文转自 chengxuyonghu 51CTO博客,原文链接:http://blog.51cto.com/6226001001/1904482,如需转载请自行联系原作者
目录
相关文章
|
2月前
|
存储 Shell Linux
【Shell 命令集合 磁盘管理 】Linux读取、转换并输出数据 dd命令使用教程
【Shell 命令集合 磁盘管理 】Linux读取、转换并输出数据 dd命令使用教程
45 0
|
2月前
|
算法 Shell Linux
【Shell 命令集合 备份压缩 】⭐Linux 压缩 恢复bzip2损坏数据 bzip2recover命令 使用指南
【Shell 命令集合 备份压缩 】⭐Linux 压缩 恢复bzip2损坏数据 bzip2recover命令 使用指南
35 0
|
4月前
|
Shell Linux Perl
linux逐行逐列(分号分隔)读取数据shell
linux逐行逐列(分号分隔)读取数据shell
22 3
|
2月前
|
存储 缓存 Shell
【Shell 命令集合 磁盘维护 】⭐⭐⭐Linux 将文件系统的缓冲区数据立即写入磁盘 sync 命令使用教程
【Shell 命令集合 磁盘维护 】⭐⭐⭐Linux 将文件系统的缓冲区数据立即写入磁盘 sync 命令使用教程
59 1
|
8月前
|
JSON 监控 Shell
用shell脚本如何获取grafana上的监控数据
用shell脚本如何获取grafana上的监控数据
165 2
|
5月前
|
Shell 5G
Shell脚本创建指定大小文件的测试数据
Shell脚本创建指定大小文件的测试数据
35 0
|
6月前
|
Shell
shell获取上一次命令输出到屏幕的数据
shell获取上一次命令输出到屏幕的数据
|
8月前
|
存储 Shell 数据处理
shell脚本里的数据思维
shell脚本里的数据思维
40 1
|
9月前
|
Shell
Shell 过滤数据(cut 截取过滤列)
Shell 过滤数据(cut 截取过滤列)
69 0
|
10月前
|
Shell 对象存储
阿里云OSS导数据到ADS上的shell脚本
阿里云OSS导数据到ADS上的shell脚本
149 1