Esta pergunta já tem uma resposta aqui:

Tenho um script utilitário em Python:

#!/usr/bin/env python
import sys
unique_lines = []
duplicate_lines = []
for line in sys.stdin:
  if line in unique_lines:
    duplicate_lines.append(line)
  else:
    unique_lines.append(line)
    sys.stdout.write(line)
# optionally do something with duplicate_lines

Esta funcionalidade simples (uniq sem precisar classificar primeiro, pedidos estáveis) deve estar disponível como um utilitário UNIX simples, não é? Talvez uma combinação de filtros em um tubo?

Motivo para perguntar: precisar desta funcionalidade em um sistema no qual não consigo executar python de qualquer lugar