Normalmente trabajo con archivos de texto de ~ 20 Gb y me encuentro contando el número de líneas en un archivo dado con mucha frecuencia.

La forma en que lo hago ahora es solocat fname | wc -l, y lleva mucho tiempo. ¿Hay alguna solución que sea mucho más rápida?

Trabajo en un clúster de alto rendimiento con Hadoop instalado. Me preguntaba si un enfoque de reducción de mapa podría ayudar.

Me gustaría que la solución fuera tan simple como ejecutar una línea, como lawc -l Solución, pero no estoy seguro de lo factible que es.

¿Algunas ideas?