Resultados da pesquisa a pedido "hdfs"

2 a resposta

É possível restringir um trabalho do MapReduce de acessar dados remotos?

Temos um algoritmo específico que queremos integrar com o HDFS. O algoritmo exige que acessemos dados localmente (o trabalho seria realizado exclusivamente noMapper) No entanto, queremos tirar proveito do HDFS em termos de distribuição do arquivo ...

5 a resposta

Verificação de soma de verificação no Hadoop

Precisamos verificar a soma de verificação depois de mover os arquivos para o Hadoop (HDFS) de um servidor Linux por meio de um Webhdfs? Gostaria de garantir que os arquivos no HDFS não apresentem danos após serem copiados. Mas a verificação é ...

2 a resposta

Nó de nome, nó secundário e nó de verificação do Hadoop 2.0 para alta disponibilidade

Depois de ler o ApacheDocumentação do Hadoop [http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html] , existe uma pequena confusão na compreensão das responsabilidades do nó secundário e do nó do ponto de ...

2 a resposta

Reconhecimento da operação de gravação de dados do Hadoop 2.0

Eu tenho uma pequena consulta sobre gravações de dados hadoop Da documentação do Apache No caso comum, quando o fator de replicação é três, a política de posicionamento do HDFS é colocar uma réplica em um nó no rack local, outra em um nó em um ...

6 a resposta

Localizando o número total de linhas no arquivo distribuído hdfs usando a linha de comando

Estou trabalhando em um cluster em que um conjunto de dados é mantido emhdfs de maneira distribuída. Aqui está o que eu tenho: [hmi@bdadev-5 ~]$ hadoop fs -ls /bdatest/clm/data/ Found 1840 items -rw-r--r-- 3 bda supergroup 0 2015-08-11 00:32 ...

3 a resposta

Hive Crie vários arquivos pequenos para cada inserção no HDFS

o seguinte já foi alcançado Produtor Kafka que extrai dados do twitter usando o Spark Streaming.Consumidor Kafka que ingere dados na tabela Hive External (no HDFS).enquanto isso está funcionando bem até agora. há apenas um problema que estou ...

2 a resposta

Salve JSON no HDFS usando python

Eu tenho um script python que atualmente acessa uma API que retorna JSON. Ele pega a string JSON e a salva como um arquivo no sistema de arquivos local, onde eu a movo manualmente para o HDFS. Gostaria de mudar isso para que meu script python ...

1 a resposta

Como passar arquivos Jar para shell script no nó shell OOZIE

Olá, estou recebendo o erro abaixo ao executar um programa java em um script que está sendo executado no fluxo de trabalho de ação do shell oozie. Stdoutput 2015-08-25 03:36:02,636 INFO [pool-1-thread-1] (ProcessExecute.java:68) - Exception in ...

1 a resposta

Não foi possível conectar-se ao armazenamento de blues azuis com o hadoop local

Enquanto tenta conectar ohadoop localcom oAZURE BLOBarmazenamento (ou seja, usando oarmazenamento de blob como HDFS) com a versão Hadoop - 2.7.1, lança exceção Aqui eu formei com sucesso o cluster local definindo a propriedade <property> ...

1 a resposta

Como gravar no HDFS usando o Scala

Estou aprendendo Scala e preciso gravar um arquivo personalizado no HDFS. Eu tenho meu próprio HDFS rodando em uma imagem Cloudera usando a fusão de vmware no meu laptop. Este é o meu código real: package org.glassfish.samples import ...