Estou usando o spark streaming

Meu programa lê continuamente fluxos de uma pasta hadoop. O problema é que, se eu copiar para minha pasta hadoop (hadoop fs -copyFromLocal), o trabalho do spark será iniciado, mas se eu mover (hadoop fs -mv / hadoopsourcePath / * / destinationPath /) não funciona .

É uma limitação do fluxo de faíscas?

Tenho outra pergunta relacionada ao spark streaming:O Spark Spark pode selecionar arquivos específicos