Resultados da pesquisa a pedido "hdfs"
Lendo programaticamente a saída do Programa Hadoop Mapreduce
Essa pode ser uma pergunta básica, mas não consegui encontrar uma resposta para ela no Google. Tenho um trabalho de redução de mapa que cria vários arquivos de saída em seu diretório de saída. Meu aplicativo Java executa esse trabalho em um ...
Hadoop, como comprimir a saída do mapeador, mas não a saída do redutor
Eu tenho um programa java de redução de mapa no qual tento compactar apenas a saída do mapeador, mas não a saída do redutor. Eu pensei que isso seria possível, definindo as seguintes propriedades na instância de configuração, conforme listado ...
Mover arquivos no Hadoop usando a API Java?
Eu quero mover arquivos no HDFS usando as APIs Java. Não consigo descobrir uma maneira de fazer isso. A classe FileSystem parece querer permitir a movimentação de e para o sistema de arquivos local .. mas eu quero mantê-los no HDFS e movê-los ...
Hadoop HDFS tamanho máximo do arquivo
Um colega meu acha que o HDFS não tem tamanho máximo de arquivo, ou seja, ao particionar em pedaços de 128/256 meg, qualquer tamanho de arquivo pode ser armazenado (obviamente, o disco HDFS tem um tamanho e isso limitará, mas esse é o único ...
O que deve ser hadoop.tmp.dir?
O Hadoop possui parâmetro de configuraçãohadoop.tmp.dir qual, conforme a documentação, é `"Base para outros diretórios temporários." Presumo que esse caminho se refira ao sistema de arquivos local. Eu defino esse valor ...
Armazenamento de imagem escalável
Atualmente estou projetando uma arquitetura para um aplicativo baseado na web que também deve fornecer algum tipo de armazenamento de imagem. Os usuários pod...
Escrevendo dados para o Hadoop
Eu preciso gravar dados no Hadoop (HDFS) de fontes externas, como uma caixa do Windows. Agora eu tenho copiado os dados para o namenode e usando o comando pu...