положить удаленный файл в hadoop, не копируя его на локальный диск
Я пишу сценарий оболочки, чтобы поместить данные в hadoop, как только они будут сгенерированы. Я могу ssh на свой главный узел, скопировать файлы в папку там и затем поместить их в hadoop. Я ищу команду оболочки, чтобы избавиться от копирования файла на локальный диск на главном узле. Чтобы лучше объяснить, что мне нужно, здесь ниже вы можете найти то, что я имею до сих пор:
1) скопируйте файл на локальный диск главного узла:
scp test.txt username@masternode:/folderName/
Я уже настроил соединение SSH с помощью ключей. Поэтому для этого не требуется пароль.
2) я могу использовать ssh для удаленного выполнения команды hadoop put:
ssh username@masternode "hadoop dfs -put /folderName/test.txt hadoopFolderName/"
что я ищу, так это как соединить эти два шага в один и пропустить локальную копию файла на локальном диске masterNode.
Спасибо
Другими словами, я хочу передать несколько команд так, чтобы я мог