Estou escrevendo um script de shell para colocar dados no hadoop assim que eles são gerados. Eu posso ssh para o meu nó mestre, copiar os arquivos para uma pasta e depois colocá-los no hadoop. Eu estou procurando um comando shell para se livrar de copiar o arquivo para o disco local no nó mestre. para explicar melhor o que preciso, aqui abaixo você pode encontrar o que eu tenho até agora:

1) copie o arquivo para o disco local do nó mestre:

scp test.txt username@masternode:/folderName/

Eu já configurei a conexão SSH usando as teclas. Portanto, nenhuma senha é necessária para fazer isso.

2) Eu posso usar o ssh para executar remotamente o comando hadoop put:

ssh username@masternode "hadoop dfs -put /folderName/test.txt hadoopFolderName/"

O que estou procurando é como canalizar / combinar essas duas etapas em uma e pular a cópia local do arquivo no disco local do masterNode.

obrigado

Em outras palavras, eu quero canalizar vários comandos de uma forma que eu possa