Ist es möglich die Ausgabe des zu speichern?hadoop dfs -getmerge Befehl an eine andere Maschine?

Der Grund dafür ist, dass auf meinem lokalen Computer nicht genügend Speicherplatz vorhanden ist. Die Jobausgabe beträgt 100 GB und mein lokaler Speicherplatz 60 GB.

Ein anderer möglicher Grund könnte sein, dass ich die Ausgabe in einem anderen Programm lokal auf einem anderen Computer verarbeiten und nicht zweimal übertragen möchte (HDFS-> lokaler FS -> entfernter Computer). Ich möchte nur (HDFS -> Remote-Maschine).

Ich bin auf der Suche nach etwas ähnlichem wiescp funktioniert wie:

hadoop dfs -getmerge /user/hduser/Job-output user@someIP:/home/user/

Alternativ möchte ich die HDFS-Daten auch von einem Remote-Host auf meinen lokalen Computer übertragen.

Könnten bei dieser Gelegenheit Unix-Pipelines verwendet werden?

Für diejenigen, die mit Hadoop nicht vertraut sind, suche ich nur nach einer Möglichkeit, einen lokalen dir-Parameter zu ersetzen (/user/hduser/Job-output) in diesem Befehl mit einem Verzeichnis auf einem Remotecomputer.