1. 云栖社区>
  2. 技术资料>
  3. 正文

用vbscript实现从文本文件中删除所有重复行的代码_vbs

作者:用户 来源:互联网 时间:2016-04-07 19:38:01

vbs去重复行

用vbscript实现从文本文件中删除所有重复行的代码_vbs - 摘要: 本文讲的是用vbscript实现从文本文件中删除所有重复行的代码_vbs, 问: 您好,脚本专家!如何从文本文件中删除所有重复行? -- SW 答: 您好,SW。您知道,成为一名脚本专家便意味着开始永无止境地寻找给定问题的最终解决方案。(或者至少在我们的经理问为什么我们似乎从未真正完成什么时,我们是这么告

问:
您好,脚本专家!如何从文本文件中删除所有重复行?

-- SW

答:
您好,SW。您知道,成为一名脚本专家便意味着开始永无止境地寻找给定问题的最终解决方案。(或者至少在我们的经理问为什么我们似乎从未真正完成什么时,我们是这么告诉他的:“老板,永无止境的寻找过程需要时间!”)这就是为什么我们很高兴看到您的问题的原因。不久前 我们回答了一个关于从文本文件中删除重复名字的类似问题。我们想到的解决方案十分简单而且效果不错;只是我们不确定那是最佳解决方案。现在,很感谢您的问题,我们可以再次尝试解决这一问题。至于此解决方案是否比我们之前提供的更好/更快/更方便,还是由您来决定吧。

首先,假定您有一个文本文件,其中每一行都表示一条单独的记录。这似乎不太可能,但也许您的文件类似如下:

This is one of the lines in the text file.
This is one of the lines in the text file.
This is another line in the text file.
This is one of the lines in the text file.
This is yet another line in the text file.
This is another line in the text file.
This is another line in the text file.
This is one of the lines in the text file.

您需要一个可以除去所有重复行并提供类似以下输出的脚本:

This is one of the lines in the text file.
This is another line in the text file.
This is yet another line in the text file.

SW,您找对地方了:

Const adOpenStatic = 3
Const adLockOptimistic = 3
Const adCmdText = &H0001

Set objConnection = CreateObject("ADODB.Connection")
Set objRecordSet = CreateObject("ADODB.Recordset")

strPathToTextFile = "C:\Scripts\"
strFile = "Test.txt"

objConnection.Open "Provider=Microsoft.Jet.OLEDB.4.0;" & _
      "Data Source=" & strPathtoTextFile & ";" & _
          "Extended Properties=""text;HDR=NO;FMT=Delimited"""

objRecordSet.Open "Select DISTINCT * FROM " & strFile, _
    objConnection, adOpenStatic, adLockOptimistic, adCmdText

Do Until objRecordSet.EOF
    Wscript.Echo objRecordSet.Fields.Item(0).Value   
    objRecordSet.MoveNext
Loop

我们发现此脚本有些有趣,因为我们使用“ActiveX 数据对象”(ADO) 并将此文本文件当作数据库处理。我们不会花费过多的时间详细说明如何将文本文件当作数据库处理;如果您想了解有关于此的详细信息,我们的脚本诊所 专栏对此主题进行了深入阐述。现在,要说明的只是我们将使用文本文件 C:\Scripts\Test.txt,我们通过为变量 strPathToTextFile 和 strFile 赋予相应值来表示:

strPathToTextFile = "C:\Scripts\"
strFile = "Test.txt"

那么,这如何能让我们除去重复行呢?是这样的,有一种称为 Select DISTINCT 的数据库查询;利用 Select DISTINCT 可以选择表格中所有不同的(或唯一的)记录。假设您有一个简单的数据库,其中有以下记录:


Red
Red
Blue
Red

如果使用 Select DISTINCT 查询,您将得到一个只包括唯一记录的记录集:

Red
Blue

毫无疑问,您会想:“哇!返回唯一记录与删除重复记录简直异曲同工。”我们承认确实如此 – 嗯,请等一下:您的想法绝对正确。我们的文本文件构建得就像一个数据库表,文本文件中的每行都表示一条记录中的一个字段。如果对此文本文件运行 Select DISTINCT 查询,我们将只得到唯一的行。事实上,我们将得到如下所示的记录集:

This is one of the lines in the text file.
This is another line in the text file.
This is yet another line in the text file.

这刚好就是我们希望返回的信息。您为我们指出了这一点,这很好!

检索记录集后,我们再使用以下代码将唯一的行回显到屏幕:

Do Until objRecordset.EOF
    Wscript.Echo objRecordset.Fields.Item(0).Value   
    objRecordset.MoveNext
Loop

如果我们愿意,也可以使用 FileSystemObject 打开文本文件,然后仅用唯一的行替换现有内容;此种方法与从文本文件中删除所有重复行效果相同。(如果我们能使用某种 Update 查询执行此操作,效果会很好,但处理文本文件时,ADO 却是只读的。)

那么,这是从文本文件删除重复项(无论是姓名还是整个行)的最终结论吗?唉,谁知道:毕竟,永无止境的寻找过程需要时间!(实际上,我们发现这只需要大约 2 到 3 天。然后,我们便开始觉得无聊,又继续做其他事情。)

以上是云栖社区小编为您精心准备的的内容,在云栖社区的博客、问答、公众号、人物、课程等栏目也有的相关内容,欢迎继续使用右上角搜索按钮进行搜索vbs去重复行 vbs输出文本、vbs实现自动按键、vbs批处理实现按键、vbs 输出到文本、vbs txt文本操作,以便于您获取更多的相关知识。

稳定可靠、可弹性伸缩的在线数据库服务,全球最受欢迎的开源数据库之一

6款热门基础云产品6个月免费体验;2款产品1年体验;1款产品2年体验

弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率

开发者常用软件,超百款实用软件一站式提供