Я пишу сценарий оболочки, чтобы поместить данные в hadoop, как только они будут сгенерированы. Я могу ssh на свой главный узел, скопировать файлы в папку там и затем поместить их в hadoop. Я ищу команду оболочки, чтобы избавиться от копирования файла на локальный диск на главном узле. Чтобы лучше объяснить, что мне нужно, здесь ниже вы можете найти то, что я имею до сих пор:

1) скопируйте файл на локальный диск главного узла:

scp test.txt username@masternode:/folderName/

Я уже настроил соединение SSH с помощью ключей. Поэтому для этого не требуется пароль.

2) я могу использовать ssh для удаленного выполнения команды hadoop put:

ssh username@masternode "hadoop dfs -put /folderName/test.txt hadoopFolderName/"

что я ищу, так это как соединить эти два шага в один и пропустить локальную копию файла на локальном диске masterNode.

Спасибо

Другими словами, я хочу передать несколько команд так, чтобы я мог