Resultados da pesquisa a pedido "mapreduce"
Remover duplicatas do MongoDB
oi eu tenho um ~ 5 milhões de documentos em mongodb (replicação) cada documento 43 campos. como remover um documento duplicado. eu tentei db.testkdd.ensureIndex({ duration : 1 , protocol_type : 1 , service : 1 , flag : 1 , src_bytes : 1 , ...
Apache hive MSCK REPAIR TABLE nova partição não adicionada
Eu sou novo no Apache Hive. Enquanto trabalho na partição de tabela externa, se eu adicionar uma nova partição diretamente ao HDFS, a nova partição não será adicionada após a execução da tabela MSCK REPAIR. Abaixo estão os códigos que tentei, - ...
É possível restringir um trabalho do MapReduce de acessar dados remotos?
Temos um algoritmo específico que queremos integrar com o HDFS. O algoritmo exige que acessemos dados localmente (o trabalho seria realizado exclusivamente noMapper) No entanto, queremos tirar proveito do HDFS em termos de distribuição do arquivo ...
Para onde a estrutura do hadoop mapreduce envia minhas instruções System.out.print ()? (stdout)
Quero depurar um script mapreduce e, sem entrar em muitos problemas, tentei colocar algumas instruções de impressão no meu programa. Mas não consigo encontrá-los em nenhum dos registros.
A faísca do apache pode ser executada sem hadoop?
Existe alguma dependência entreFaíscaeHadoop? Caso contrário, há algum recurso que sentirei falta quando corroFaíscasemHadoop?
A manipulação de erros no mapa hadoop reduz
Com base na documentação, existem algumas maneiras de reduzir o tratamento de erros no mapa. Abaixo estão alguns: uma. Contadores personalizados usando enum - incremento para cada registro com falha. b. Registre o erro e analise mais tarde. Os ...
Hadoop 1.2.1 - cluster multinode - A fase do redutor trava para o programa Wordcount?
Minha pergunta pode parecer redundante aqui, mas a solução para as perguntas anteriores foi ad-hoc. poucos eu tentei, mas ainda não tive sorte. Na verdade, estou trabalhando no hadoop-1.2.1 (no ubuntu 14), inicialmente tive configuração de nó ...
Hadoop - Ajuda necessária para entender as etapas de processamento
Eu tenho um arquivo compactado e contém 8 arquivos xml de tamanho 5-10kb. Peguei esses dados para fins de teste. Eu escrevi um programa apenas de mapa para descompactar o arquivo compactado. Euwrote program in MR2 and using Hadoop 2.7.1 in psuedo ...
Fornecendo vários arquivos não textuais para um único mapa no Hadoop MapReduce
Atualmente, estou escrevendo um aplicativo distribuído que analisa arquivos PDF com a ajuda do Hadoop MapReduce. O trabalho de entrada no MapReduce é de milhares de arquivos PDF (que geralmente variam de 100 KB a ~ 2 MB) e o resultado é um ...
Como os contêineres são criados com base em vcores e memória no MapReduce2?
Eu tenho um pequeno cluster composto de 1 mestre (namenode, secundárionamenode, resourcemanager) e 2 escravos (datanode, nodemanager). Eu configurei no yarn-site.xml do master: yarn.scheduler.minimum-allocation-mb : ...