记一次数据处理的过程

    由于所在公司是主要做短信行业，平时和手机号码打交道较多，各种奇葩需求也比较多，近期接到一个一个总监的奇葩需求，就是将两个文件中相同的手机号码弄处理，由于编程水平以及excel玩的有限，所以只能自己想其他额办法解决，首先每个文件有好几个字段，不过全是结构化数据，格式如下：

处理的思路：

由于只是要相同的号码，所以就在linux下用一些文本处理工具对其处理，先将其处理成只含手机号码的文件，然后再做其他的处理

可以用cut或者awk截取相关的列，但是由于awk不是太熟悉，这里就使用cut截取，注意分隔符以及相关的第几列就可以。

然后可以用grep  比较，也试过diff,但是效果

1、统计两个文本文件的相同行

grep -Ff file1 file2

2、统计file2中有，file1中没有的行 比较两个不同的行

grep  -vFf  file2 file1

本文转自 tianya1993 51CTO博客，原文链接：http://blog.51cto.com/dreamlinux/1869844，如需转载请自行联系原作者