Resultados da pesquisa a pedido "hadoop"
Erro ao executar o Mapreduce (fios) no eclipse do windows
Estou executando um programa WordCount no meu eclipse. Eu tentei com o Hadoop1.x ele está funcionando bem. Problema enfrentado durante a execução no hadoop2.x Eu tentei 1) adicionou todos os xml no meu caminho de classe. 2) também ...
qual é o significado do espaço para nome e dos metadados usados nos hdfs (namenode)
Como iniciante no hadoop, estou confuso com essas palavras namespace e metadados. Existe alguma relação entre esses dois?
Escreva e leia matrizes de bytes brutos no Spark - usando o arquivo de sequência SequenceFile
Como você escreveRDD[Array[Byte]] para um arquivo usando o Apache Spark e lê-lo novamente?
Qual é a relação entre 'mapreduce.map.memory.mb' e 'mapred.map.child.java.opts' no Apache Hadoop YARN?
Eu gostaria de saber a relação entre omapreduce.map.memory.mb emapred.map.child.java.opts parâmetros. Émapreduce.map.memory.mb > mapred.map.child.java.opts? Obrigado, Kewal.
java.lang.NoSuchFieldError: IBM_JAVA para um cliente java hbase simples no Eclipse
Como o título diz: Meu código-fonte é: package hbase; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; ...
Grave em várias saídas com a chave Scalding Hadoop, uma tarefa MapReduce
Como você pode gravar em várias saídas dependentes da chave usando Scalding (/ em cascata) em um único trabalho de redução de mapa. Eu poderia, é claro, usar.filter para todas as chaves possíveis, mas esse é um truque horrível, que acionará ...
Grave em várias saídas com a chave Spark - um trabalho do Spark
Como você pode gravar em várias saídas dependentes da chave usando o Spark em um único trabalho. Relacionado:Grave em várias saídas com a chave Scalding Hadoop, uma ...
Como passar a variável conf Hive no hive udf?
Eu quero passar a variável conf da seção para a UDF. abaixo está um trecho de código. hive -f ../hive/testHive.sql -hivevar testArg=${testArg}Abaixo está a chamada da colmeia UDF. select setUserDefinedValueForColumn(columnName,'${testArg}') ...
Comando para armazenar arquivos no HDFS
Introdução Um Hadoop NameNode e três DataNodes foram instalados e estão em execução. O próximo passo é fornecer um arquivo para o HDFS. Os seguintes comandos foram executados: hadoop fs -copyFromLocal ubuntu-14.04-desktop-amd64.iso ...
Como ler arquivos com um deslocamento do Hadoop usando Java
Problema: desejo ler uma seção de um arquivo do HDFS e devolvê-lo, como as linhas 101-120 de um arquivo de 1000 linhas. Eu não quero usarseek porque eu li que é caro. Tenho arquivos de log que estou usando o PIG para processar em ...