如何批量删除文件中的重复行？

Question

如题所述

Answer 1

　　　　删除TXT中重复的内容,三种方法供参考：

　　一、软件删除法：

　　二、Excel去重法：

　　三、批处理法：

　　用记事本新建一个bat文件，内容如下：

　　::怎样删除a.txt文件中重复的行?

　　::批处理不能直接更改文档中的内容,所以只能新建一个b.txt文档

　　::注:文档a中的每一行的结尾若有空格,也会被当作字符判断

　　::代码虽能达到目的,但感觉有点臃肿,还望高手简化.

　　@echo off

　　set a=1

　　set dst=1

　　setlocal enabledelayedexpansion

　　for /f "delims=" %%i in (a.txt) do (

　　set num=%%i

　　if "!a!"=="1" (echo !num!>b.txt&set a=)

　　if not !num!==!dst! (call :dd)

　　for /f "delims=" %%j in (b.txt) do (

　　set dst=!num!

　　set var=%%j

　　if "!num!"=="!var!" set lis=y

　　)

　　)

　　start b.txt

　　:dd

　　if "%dst%"=="1" goto :eof

　　if not "%lis%"=="y" (echo %dst%>>b.txt) else (set lis=)

　　goto :eof

　　保存此文件为bat格式文档后，双击执行即可得到去重后的新文本。