在Linux中，可以使用uniq命令来去除文件中的重复行

删除连续重复行：

uniq input_file > output_file

这将把input_file中的连续重复行删除，并将结果保存到output_file中。如果你想直接修改原始文件，可以使用-i选项：

uniq -i input_file > output_file

删除所有重复行（保留第一个出现的行）：

uniq -d input_file > output_file

这将把input_file中的所有重复行删除，并将结果保存到output_file中。如果你想直接修改原始文件，可以使用-i选项：

uniq -di input_file > output_file

结合其他命令使用：

如果你想从文件中提取不重复的行，并将其传递给其他命令（例如grep），可以使用管道（|）：

uniq input_file | grep "pattern"

这将首先去除input_file中的重复行，然后使用grep搜索包含特定模式的行。