linux去掉重复行的方法有哪些

在Linux中，可以使用以下方法去掉重复行：

1. 使用sort命令和uniq命令组合，sort命令可以对文件进行排序，uniq命令可以去掉重复行。示例命令如下：

sort file.txt | uniq > newfile.txt

1. 使用awk命令，awk命令是一种文本处理工具，可以用来去掉重复行。示例命令如下：

awk '!seen[$0]++' file.txt > newfile.txt

1. 使用sed命令，sed命令是一种流编辑器，可以用来去掉重复行。示例命令如下：

sed '$!N; /^\(.*\)\n\1$/!P; D' file.txt > newfile.txt

1. 使用comm命令，comm命令用于比较两个已排序的文件，并找出相同行、不同行和仅存在于一个文件中的行。示例命令如下：

comm -12 <(sort file.txt) <(sort file.txt) > newfile.txt

以上是一些常用的方法，可以根据具体情况选择适合的方法。