Normalerweise arbeite ich mit Textdateien mit einer Größe von ca. 20 GB und zähle sehr oft die Anzahl der Zeilen in einer bestimmten Datei.

So wie ich es jetzt mache, ist es nurcat fname | wc -lund es dauert sehr lange. Gibt es eine Lösung, die viel schneller wäre?

Ich arbeite in einem Hochleistungscluster mit installiertem Hadoop. Ich habe mich gefragt, ob ein Ansatz zur Kartenreduzierung hilfreich sein könnte.

Ich möchte, dass die Lösung so einfach wie ein Zeilenumbruch istwc -l Lösung, aber nicht sicher, wie machbar es ist.

Irgendwelche Ideen?