Estoy escribiendo un script de shell para poner datos en hadoop tan pronto como se generan. Puedo ssh a mi nodo maestro, copiar los archivos a una carpeta allí y luego ponerlos en hadoop. Estoy buscando un comando de shell para deshacerme de copiar el archivo en el disco local en el nodo maestro. Para explicar mejor lo que necesito, a continuación puede encontrar lo que tengo hasta ahora:

1) Copie el archivo en el disco local del nodo maestro:

scp test.txt username@masternode:/folderName/

Ya he configurado la conexión SSH usando las teclas. Así que no se necesita contraseña para hacer esto.

2) Puedo usar ssh para ejecutar remotamente el comando hadoop put:

ssh username@masternode "hadoop dfs -put /folderName/test.txt hadoopFolderName/"

Lo que estoy buscando es cómo combinar / combinar estos dos pasos en uno y omitir la copia local del archivo en el disco local de masterNode.

Gracias

En otras palabras, quiero canalizar varios comandos de una manera que pueda