Как часть проекта, над которым я работаю, я хотел бы очистить файл, который я генерирую, от повторяющихся записей строк. Однако эти дубликаты часто не встречаются рядом друг с другом. Я придумал способ сделать это в Java (который в основном делал копию файла, а затем использовал вложенный оператор while для сравнения каждой строки в одном файле с остальной частью другого). Проблема в том, что мой сгенерированный файл довольно большой и тяжелый (около 225 тыс. Строк текста и около 40 мегабайт). Я считаю, что мой текущий процесс занимает 63 часа! Это определенно не приемлемо.

Однако для этого мне нужно комплексное решение. Желательно на Яве. Есть идеи? Спасибо!