Я обычно работаю с текстовыми файлами размером ~ 20 Гб и очень часто считаю количество строк в данном файле.

То, как я это делаю сейчаспростоcat fname | wc -lи это занимает очень много времени. Есть ли решение, котороебудет намного быстрее?

Я работаю в высокопроизводительном кластере с установленным Hadoop. Мне было интересно, может ли помочь подход уменьшения карты.

Мне бы хотелось, чтобы решение было таким же простым, как одна строка, напримерwc -l решение, но не уверен, насколько это возможно.

Есть идеи?