Piszę skrypt powłoki, aby umieścić dane w hadoop, gdy tylko zostaną wygenerowane. Mogę ssh do mojego głównego węzła, skopiować pliki do folderu tam, a następnie umieścić je w hadoop. Szukam polecenia powłoki, aby pozbyć się kopiowania pliku na dysk lokalny w węźle głównym. aby lepiej wyjaśnić, czego potrzebuję, poniżej znajdziesz to, co mam do tej pory:

1) skopiuj plik na dysk lokalny węzła głównego:

scp test.txt username@masternode:/folderName/

Już skonfigurowałem połączenie SSH za pomocą kluczy. Aby to zrobić, nie jest potrzebne hasło.

2) Mogę użyć ssh do zdalnego wykonania komendy put hadoop:

ssh username@masternode "hadoop dfs -put /folderName/test.txt hadoopFolderName/"

szukam sposobu na połączenie tych dwóch kroków w jeden i pominięcie lokalnej kopii pliku na dysku lokalnym masterNode.

dzięki

Innymi słowy, chcę potokować kilka poleceń w sposób, w jaki mogę