在Linux中，我们可以使用uniq命令来去重

去除连续重复行：

uniq

示例：

echo -e "apple\napple\norange\norange\nbanana" | uniq

输出：

appleorangebanana

去除所有重复行，保留第一次出现的行：

uniq -u

示例：

echo -e "apple\napple\norange\norange\nbanana" | uniq -u

输出：

applebanana

去除指定列重复行，保留第一次出现的行：

uniq -d -f 1

示例：

echo -e "file1.txt\nfile2.txt" | xargs cat | awk '{print $1}' | uniq -d -f 1

输出：

file1.txtfile2.txt

在这个示例中，我们首先使用xargs cat将两个文件的行合并到一个输入流中，然后使用awk '{print $1}'提取每行的第一个字段，最后使用uniq -d -f 1去除指定列（这里是第一个字段）的重复行。

注意：这些命令适用于文本文件。如果你的数据是二进制文件或者结构较复杂的数据，你可能需要使用其他工具，如awk、sed或perl来处理去重。