Resultados da pesquisa a pedido "hdfs"
Spark: Salvando RDD em um caminho já existente no HDFS
Consigo salvar a saída RDD no HDFS comsaveAsTextFilemétodo. Este método lança uma exceção se o caminho do arquivo já existir. Eu tenho um caso de uso em que preciso salvar o RDDS em um caminho de arquivo já existente no HDFS. Existe uma maneira ...
Como faço para definir um objeto como a saída de valor para mapa no Hadoop MapReduce?
No Hadoop MapReduce, para a saída intermediária (gerada pelo map ()), eu quero que o valor da saída Intermediária seja o objeto a seguir.
dfs.namenode.servicerpc-address ou dfs.namenode.rpc-address não está configurado
Eu estava tentando configurar o hadoop com um nó de nome e quatro nós de dados. Consegui configurar com êxito o nó de nome e o rastreador de trabalho em uma ...
Movendo dados para hdfs usando o switch copyFromLocal
Eu não sei o que está acontecendo aqui, mas estou tentando copiar um arquivo simples de um diretório no meu sistema de arquivos local para o diretório especi...
Melhor compactação splittable para entrada do Hadoop = bz2?
Nós percebemos um pouco tarde que arquivar nossos arquivos no formato GZip para processamento do Hadoop não é uma ótima idéia. O GZip não é divisível e, para...