Resultados da pesquisa a pedido "hdfs"
É possível restringir um trabalho do MapReduce de acessar dados remotos?
Temos um algoritmo específico que queremos integrar com o HDFS. O algoritmo exige que acessemos dados localmente (o trabalho seria realizado exclusivamente noMapper) No entanto, queremos tirar proveito do HDFS em termos de distribuição do arquivo ...
Verificação de soma de verificação no Hadoop
Precisamos verificar a soma de verificação depois de mover os arquivos para o Hadoop (HDFS) de um servidor Linux por meio de um Webhdfs? Gostaria de garantir que os arquivos no HDFS não apresentem danos após serem copiados. Mas a verificação é ...
Nó de nome, nó secundário e nó de verificação do Hadoop 2.0 para alta disponibilidade
Depois de ler o ApacheDocumentação do Hadoop [http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html] , existe uma pequena confusão na compreensão das responsabilidades do nó secundário e do nó do ponto de ...
Reconhecimento da operação de gravação de dados do Hadoop 2.0
Eu tenho uma pequena consulta sobre gravações de dados hadoop Da documentação do Apache No caso comum, quando o fator de replicação é três, a política de posicionamento do HDFS é colocar uma réplica em um nó no rack local, outra em um nó em um ...
Localizando o número total de linhas no arquivo distribuído hdfs usando a linha de comando
Estou trabalhando em um cluster em que um conjunto de dados é mantido emhdfs de maneira distribuída. Aqui está o que eu tenho: [hmi@bdadev-5 ~]$ hadoop fs -ls /bdatest/clm/data/ Found 1840 items -rw-r--r-- 3 bda supergroup 0 2015-08-11 00:32 ...
Hive Crie vários arquivos pequenos para cada inserção no HDFS
o seguinte já foi alcançado Produtor Kafka que extrai dados do twitter usando o Spark Streaming.Consumidor Kafka que ingere dados na tabela Hive External (no HDFS).enquanto isso está funcionando bem até agora. há apenas um problema que estou ...
Salve JSON no HDFS usando python
Eu tenho um script python que atualmente acessa uma API que retorna JSON. Ele pega a string JSON e a salva como um arquivo no sistema de arquivos local, onde eu a movo manualmente para o HDFS. Gostaria de mudar isso para que meu script python ...
Como passar arquivos Jar para shell script no nó shell OOZIE
Olá, estou recebendo o erro abaixo ao executar um programa java em um script que está sendo executado no fluxo de trabalho de ação do shell oozie. Stdoutput 2015-08-25 03:36:02,636 INFO [pool-1-thread-1] (ProcessExecute.java:68) - Exception in ...
Não foi possível conectar-se ao armazenamento de blues azuis com o hadoop local
Enquanto tenta conectar ohadoop localcom oAZURE BLOBarmazenamento (ou seja, usando oarmazenamento de blob como HDFS) com a versão Hadoop - 2.7.1, lança exceção Aqui eu formei com sucesso o cluster local definindo a propriedade <property> ...
Como gravar no HDFS usando o Scala
Estou aprendendo Scala e preciso gravar um arquivo personalizado no HDFS. Eu tenho meu próprio HDFS rodando em uma imagem Cloudera usando a fusão de vmware no meu laptop. Este é o meu código real: package org.glassfish.samples import ...