Ich schreibe ein Shell-Skript, um Daten in Hadoop zu setzen, sobald sie generiert werden. Ich kann zu meinem Hauptknoten ssh, die Dateien in einen Ordner dort kopieren und sie dann in hadoop ablegen. Ich suche nach einem Shell-Befehl, um das Kopieren der Datei auf die lokale Festplatte auf dem Masterknoten loszuwerden. Um besser zu erklären, was ich brauche, finden Sie hier unten, was ich bisher habe:

1) Kopieren Sie die Datei auf die lokale Festplatte des Masterknotens:

scp test.txt username@masternode:/folderName/

Ich habe bereits eine SSH-Verbindung mit Schlüsseln eingerichtet. Dazu ist also kein Passwort erforderlich.

2) Ich kann ssh verwenden, um den Befehl hadoop put remote auszuführen:

ssh username@masternode "hadoop dfs -put /folderName/test.txt hadoopFolderName/"

Was ich suche, ist, wie man diese zwei Schritte in einen leitet / kombiniert und die lokale Kopie der Datei auf der lokalen Platte von masterNode überspringt.

Vielen Dank

Mit anderen Worten, ich möchte mehrere Befehle auf eine Weise weiterleiten, die ich kann