Resultados da pesquisa a pedido "mapreduce"
Como inserir um arquivo HDFS no R mapreduce para processamento e obter o resultado no arquivo HDFS
Eu tenho uma pergunta semelhante ao link abaixo no stackoverflow R + Hadoop: Como ler o arquivo CSV do HDFS e executar o ...
que diferença entre executar uma tarefa de redução de mapa usando o comando hadoop e java
Encontre muitas opções para executar um programa de redução de mapa. Qualquer um pode explicar a diferença entre as teses abaixo dos comandos. E que impacto no trabalho de redução de mapa, se houver. java -jar MyMapReduce.jar [args] hadoop jar ...
hadoop java.net.URISyntaxException: caminho relativo no URI absoluto: rsrc: hbase-common-0.98.1-hadoop2.jar
Eu tenho um trabalho de redução de mapa que se conecta ao HBASE e não consigo descobrir onde estou executando esse erro: Exception in thread "main" java.lang.reflect.InvocationTargetException ...
Java8: HashMap <X, Y> para HashMap <X, Z> usando Stream / Map-Reduce / Collector
Eu sei como "transformar" um simples JavaList deY ->Z, ou seja: List<String> x; List<Integer> y = x.stream() .map(s -> Integer.parseInt(s)) .collect(Collectors.toList());Agora eu gostaria de fazer basicamente o mesmo com um mapa, ou ...
A exclusão de dependência transitiva Gradle não está funcionando conforme o esperado. (Como faço para me livrar do com.google.guava: guava-jdk5: 13.0?)
Aqui está um trecho do meu build.gradle: compile 'com.google.api-client:google-api-client:1.19.0' compile 'com.google.apis:google-api-services-oauth2:v2-rev77-1.19.0' compile 'com.google.apis:google-api-services-plus:v1-rev155-1.19.0' ...
Mapa do Hadoop Reduzir a leitura de um arquivo de texto
Estou tentando escrever um programa MapReduce que pode ler um arquivo de entrada e gravar a saída em outro arquivo de texto. Estou planejando usar a classe BufferedReader para isso. Mas eu realmente não sei como usá-lo em um ...
Como configurar os VCORES no hadoop mapreduce / yarn?
A seguir, minha configuração: **mapred-site.xml** map-mb : 4096 opts:-Xmx3072m reduce-mb : 8192 opts:-Xmx6144m **yarn-site.xml** resource memory-mb : 40GB min allocation-mb : 1GBos Vcores no cluster hadoop exibiam 8GB, mas eu não sei como o ...
O Hive pode recursivamente descer para subdiretórios sem partições ou editar o hive-site.xml?
Eu tenho alguns logs do servidor da web que gostaria de consultar com o Hive. A estrutura de diretórios, no HDFS, fica assim: /data/access/web1/2014/09 /data/access/web1/2014/09/access-20140901.log [... etc ...] /data/access/web1/2014/10 ...
O que é o Contexto de Palavras-Chave no mundo da programação Hadoop?
O que exatamente é essa palavra-chaveContextono mundo do Hadoop MapReduce em novos termos de API? É amplamente utilizado para escrever pares de saída do Maps e Reduce, no entanto, não tenho certeza se ele pode ser usado em outro lugar e o que ...
Reduza um par de valor-chave em um par de lista de chaves com o Apache Spark
Estou escrevendo um aplicativo Spark e quero combinar um conjunto de pares de valor-chave(K, V1), (K, V2), ..., (K, Vn) em um par de chave-valor múltiplo(K, [V1, V2, ..., Vn]). Eu sinto que deveria ser capaz de fazer isso usando oreduceByKey ...