Resultados da pesquisa a pedido "hadoop"
Iterar duas vezes nos valores (MapReduce)
Eu recebo um iterador como argumento e gostaria de repetir os valores duas veze public void reduce(Pair<String,String> key, Iterator<IntWritable> values, Context context)É possível ? Como ? A assinatura é imposta pela estrutura que estou usando ...
Configurar a junção lateral do mapa para vários mapeadores no Hadoop Map / Reduce
Tenho uma pergunta sobre a configuração da junção interna Mapa / Lateral para vários mapeadores no Hadoop. Suponha que eu tenha dois conjuntos de dados muito grandes A e B, use a mesma partição e algoritmo de classificação para dividi-los em ...
Permutações com o MapReduce
Existe uma maneira de gerar permutações com o MapReduc Arquivo de entrada 1 title1 2 title2 3 title3meu gol 1,2 title1,title2 1,3 title1,title3 2,3 title2,title3
O que é o Dremel do Google? Qual é a diferença do Mapreduce?
O Dremel do Google édescrito aqui [http://research.google.com/pubs/pub36632.html]. Qual é a diferença entre Dremel e Mapreduce?
Tabela Hive de partição por campo existente?
Posso particionar uma tabela do Hive após a inserção por um campo existent Tenho um arquivo de 10 GB com um campo de data e uma hora do dia. Posso carregar esse arquivo em uma tabela e depois inserir sobrescrever em outra tabela particionada que ...
Hadoop mapreduce: Driver para encadear mapeadores dentro de um trabalho MapReduce
Tenho um trabalho de mapreduce: meu código Classe de mapa: public static class MapClass extends Mapper<Text, Text, Text, LongWritable> { @Override public void map(Text key, Text value, Context context) throws IOException, InterruptedException { ...
Definir o número de tarefas de mapa e reduzir tarefas
No momento, estou executando um trabalho. Corrigi o número de tarefas do mapa para 20, mas obtendo um número maior. Também defino a tarefa de redução como zero, mas ainda estou recebendo um número diferente de zero. O tempo total para a ...
Como imprimir no console durante a execução do trabalho MapReduce no hadoop
Eu quero imprimir cada etapa do meu "mapa" após sua execução no consol Algo com System.out.println ("Etapa 1 concluída"); System.out.println ("Etapa 2 concluída"); e assim por diant Existe um comando especial para fazer isso ou não é ...
Hadoop no OSX “Não foi possível carregar informações da região do SCDynamicStore”
Estou recebendo esse erro na inicialização do Hadoop no OSX 10.7: Não foi possível carregar as informações da região do SCDynamicStore put: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Não é possível criar o diretório / user / ...
Hadoop: comprime o arquivo no HDF
Instalei recentemente a compactação LZO no Hadoop. Qual é a maneira mais fácil de compactar um arquivo no HDFS? Quero compactar um arquivo e excluir o original. Devo criar um trabalho de MR com um IdentityMapper e um IdentityReducer que use ...