常用命令: sort学习笔记

  1. 云栖社区>
  2. 博客>
  3. 正文

常用命令: sort学习笔记

徐洲更 2019-05-23 21:44:45 浏览2725
展开阅读全文

本文的sort命令是GNU版本(8.22), 和BSD的sort不同

sort是我最常用Linux命令之一,它的功能就是排序,一般后面还会和uniq搭配,对数据进行去重。

下面的操作假设你有一个文件,叫做chr.txt, 内容如下, 不同列之间用制表符分隔

Chr3    20251812    20254323    +
Chr1    471971    473336    -
Chr3    21701520    21703114    +
Chr3    18709613    18710836    +
Chr5    25645209    25646845    -
Chr1    3055231    3056997    -
Chr1    28881539    28885023    +

最简单的用法就是只给一个文件作为输入,默认就是从左到右逐个字符的进行比较,

$ sort chr.txt
Chr1    28881539    28885023    +
Chr1    3055231    3056997    -
Chr1    471971    473336    -
Chr3    18709613    18710836    +
Chr3    20251812    20254323    +
Chr3    21701520    21703114    +
Chr5    25645209    25646845    -

默认是从小到大,也可以用-r, --reverse实现从大到小进行排序

$ sort -r chr.txt
Chr5    25645209    25646845    -
Chr3    21701520    21703114    +
Chr3    20251812    20254323    +
Chr3    18709613    18710836    +
Chr1    471971    473336    -
Chr1    3055231    3056997    -
Chr1    28881539    28885023    +

如果你想指定某一列进行排序,需要用到参数-k, --key=KEYDEF, 其中KEYDEF就是你指定的列

$ sort -k2 chr.txt 
Chr3    18709613    18710836    +
Chr3    20251812    20254323    +
Chr3    21701520    21703114    +
Chr5    25645209    25646845    -
Chr1    28881539    28885023    +
Chr1    3055231    3056997    -
Chr1    471971    473336    -

你会发现一个不对劲的情况,为啥28881539会比3055231小?因为默认情况下,sort将数字当做字符处理,从左到右,逐个比较字符,在第一个数字上,2是比3小,因此28881539在前3055231在后。如果你需要按照数值大小进行排序,那么就需要一个额外参数-n,--numeric-sort

$ sort -nk2 chr.txt
Chr1    471971    473336    -
Chr1    3055231    3056997    -
Chr3    18709613    18710836    +
Chr3    20251812    20254323    +
Chr3    21701520    21703114    +
Chr5    25645209    25646845    -
Chr1    28881539    28885023    +

那能不能先根据第一列然后根据第二列排序呢?

$ sort  -k1,1 -k2,2n chr.txt
Chr1    471971    473336    -
Chr1    3055231    3056997    -
Chr1    28881539    28885023    +
Chr3    18709613    18710836    +
Chr3    20251812    20254323    +
Chr3    21701520    21703114    +
Chr5    25645209    25646845    -

你可能对这里面 -k1,1 -k2,2n感觉特别的奇怪,这是因为我还没有说明KEYDEF到底是什么

KEYDEF的定义是 F.C,F[OPTS]]。这里[]就是可填可不填的意思,例如一开始的k2就是只填了第一个F。F表示filed, 也就是列,这里一共有两个F,分别用于排序键值的起始位置列和结束位置列。举个例子

$ sort -k1,2 chr.txt 
Chr1    28881539    28885023    +
Chr1    3055231    3056997    -
Chr1    471971    473336    -
Chr3    18709613    18710836    +
Chr3    20251812    20254323    +
Chr3    21701520    21703114    +
Chr5    25645209    25646845    -

效果就是将第一列和第二列进行合并,然后从左到右进行逐个比较。

.C适用于Chr23Chr2这种字符和数字混合的情况,我们希望Chr2 < Chr23,但是默认是Chr23 > Chr2. .C表示从第C个位置开始,当做数字处理

$ cat test.txt 
Chr1
Chr23
Chr2
$ sort -k1.4 test.txt
Chr1
Chr2
Chr23

最后OPTS表示该列的排序类型,可选项是 [bdfgiMhnRrV], 我比较常用的就是n和r。

那么 -k1,1 -k2,2n就很好理解了, 就是先按照第一列排序,然后按照第二列排序,其中第二列是数值型数据。

除了按数字排序,sort还支持按照月份缩写-M,--month-sort, 例如'JAN'<'DEC', 人类可读数值-h,--human-numeric-sort, 例如 2K < 1G。

如果你的输入内容是 0.04,1,123,1e-10,3.23 这种数字记录类型,sort也提供-g,--general-numeric-sort,对其排序

$ sort numbers.txt 
0.04
1
123
1e-10
3.23
$ sort -g numbers.txt
1e-10
0.04
1
3.23
123

还有一个和软件版本开发相关的排序-V, --version-sort。你是不是觉得1.21 的版本比 1.3新。然而在软件开发领域,1.3 比1.21新

$ sort -V version.txt 
1.3
1.21

其他你可能会用得到的参数

  • -b: 获取开头的空白
  • -f: 忽略大小写
  • --parallel=N: 并行
  • -o, --output=FILE: 指定输出文件,而非标准输出
  • -c, --check: 检查是否排序, 输出第一个排序不对的位置
  • -C, --check=quiet, --check=silent: 检查是否排序,没有任何输出,echo $?返回1
  • -t, --field-separator=SEP: 默认是空格分隔,可以指定分隔符
  • -m,--merge: 合并已经排序的文件

网友评论

登录后评论
0/500
评论
徐洲更
+ 关注