Resultados da pesquisa a pedido "hadoop"
roblema de permissões do @Apache Pig
Estou tentando colocar o Apache Pig em funcionamento no cluster Hadoop e estou com um problema de permissão. O próprio Pig está iniciando e se conectando ao cluster muito bem - de dentro do shell do Pig, eu possols através e em volta dos meus ...
Processamento de dados em grande escala Hbase vs Cassandra [fechado]
Estou quase chegando em Cassandra após minha pesquisa em soluções de armazenamento de dados em larga escala. Mas geralmente se diz que o Hbase é a melhor solução para processamento e análise de dados em larga escal Enquanto ambos têm o mesmo ...
s algoritmos de força bruta podem ser dimensionado
Eu tenho um problema de matemática que resolvo por tentativa e erro (acho que isso é chamado de força bruta), e o programa funciona bem quando há algumas opções, mas à medida que adiciono mais variáveis / dados, leva mais e mais tempo para ...
Acessando o HBase em execução na VM com um cliente no sistema host
Tento gravar alguns dados no hbase com um programa cliente HBase @ O Hadoop é executado em uma VM pré-configurada a partir do Cloudera @ ubunt O cliente é executado no sistema que hospeda a VM e a execução direta do cliente nas obras da ...
Como informar ao MapReduce quantos mapeadores usar?
Estou tentando acelerar a otimização do trabalho do MapReduc Existe alguma maneira de dizer ao hadoop para usar um número específico de processos de mapeador / redutor? Ou, pelo menos, número mínimo de processos do mapeador? Na documentação ...
s opções do @Hadoop não têm efeito (mapreduce.input.lineinputformat.linespermap, mapred.max.map.failures.percent)
Estou tentando implementar um trabalho MapReduce, em que cada um dos mapeadores levaria 150 linhas do arquivo de texto e todos os mapeadores seriam executados simultaneamente; Além disso, não deve falhar, não importa quantas tarefas de mapa ...
Obtenha o nome do arquivo de entrada no programa hadoop de streaming
Consigo encontrar o nome se o arquivo de entrada em uma classe de mapeador usando o FileSplit ao gravar o programa em Jav xiste uma maneira correspondente de fazer isso quando eu escrevo um programa em Python (usando streaming Encontrei o ...
or que precisamos definir explicitamente a chave / valor da saída no programa Hadoo
No livro "Hadoop: O Guia Definitivo", há um programa de exemplo com o código abaix JobConf conf = new JobConf(MaxTemperature.class); conf.setJobName("Max temperature"); FileInputFormat.addInputPath(conf, new ...
Filtre uma string com base em uma palavra
Tenho um trabalho de porco onde preciso filtrar os dados encontrando uma palavra nele, Aqui está o trecho A = LOAD '/home/user/filename' USING PigStorage(','); B = FOREACH A GENERATE $27,$38; C = FILTER B BY ( $1 == '*Word*'); STORE C INTO ...
Como o Hive decide quando usar o mapa reduzido e quando não usar?
Como um exemplo simples, select * from tablename; NÃO entra no mapa reduzir, enquanto select count(*) from tablename;FAZ. Qual é o princípio geral usado para decidir quando usar a redução de mapa (por seção)?