Como parte de un proyecto en el que estoy trabajando, me gustaría limpiar un archivo que genero de entradas de línea duplicadas. Sin embargo, estos duplicados a menudo no ocurrirán uno cerca del otro. Se me ocurrió un método para hacerlo en Java (que básicamente hizo una copia del archivo, luego usé una instrucción while anidada para comparar cada línea en un archivo con el resto de la otra). El problema es que mi archivo generado es bastante grande y tiene mucho texto (alrededor de 225 mil líneas de texto y alrededor de 40 megas). ¡Calculo que mi proceso actual tomará 63 horas! Esto definitivamente no es aceptable.

Necesito una solución integrada para esto, sin embargo. Preferentemente en Java. ¿Algunas ideas? ¡Gracias