Resultados da pesquisa a pedido "mapreduce"
Falha no trabalho de streaming do Hadoop em python
Deeste guia [http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/#running-the-python-code-on-hadoop] , Executei com êxito o exercício de amostra. Mas, ao executar meu trabalho de mapreduce, estou recebendo o ...
Falha no trabalho de streaming do Hadoop (sem êxito) em Python
Estou tentando executar um trabalho de redução de mapa no Hadoop Streaming com scripts Python e obtendo os mesmos erros queFalha no trabalho de streaming do Hadoop em ...
Por que um trabalho somente de mapa na seção resulta em um único arquivo de saída
Quando executo a consulta a seguir, recebo apenas um arquivo como saída, embora tenha 8 mapeadores e 0 redutores. create table table_2 as select * from table_1.8 mapeadores são chamados e não há fase redutora. Existe apenas um arquivo no local ...
Como as consultas sql do hive são enviadas como trabalho de sr do hive cli
Implantei um cluster CDH-5.9 com o MR como mecanismo de execução de seção. Eu tenho uma tabela de seção chamada "usuários" com 50 linhas. Sempre que executo a consultaselect * from users funciona bem da seguinte maneira: hive> select * from ...
MapReduce classificar por valor em ordem decrescente
Estou tentando escrever em pseudo-código uma tarefa MapReduce que retorna os itens classificados em ordem decrescente. Por exemplo: para a tarefa de contagem de palavras, em vez de obter: apple 1 banana 3 mango 2Eu quero que a saída ...
O que a fase de embaralhamento realmente faz?
O que a fase de embaralhamento realmente faz? A) Como o embaralhamento é o processo de trazer o mapeador o / p para o redutor o / p, ele apenas traz as chaves específicas dos mapeadores para os redutores específicos com base no código escrito no ...
Mapfile como uma entrada para um trabalho MapReduce
Recentemente, comecei a usar o Hadoop e tenho um problema ao usar um Mapfile como entrada para um trabalho MapReduce. O código de trabalho a seguir grava um MapFile simples chamado "TestMap" em hdfs, onde existem três chaves do tipo Texto e três ...
Como reduzir em uma lista de tuplas em python
Eu tenho uma matriz e quero contar a ocorrência de cada item na matriz. Consegui usar uma função de mapa para produzir uma lista de tuplas. def mapper(a): return (a, 1) r = list(map(lambda a: mapper(a), arr)); //output example: //(11817685, 1), ...
Como usar o Hadoop Streaming com arquivos de sequência compactados por LZO?
Estou tentando brincar com o conjunto de dados de ngrams do Google usando o Elastic Map Reduce da Amazon. Há um conjunto de dados público em http://aws.amazon.com/datasets/8172056142375670 [http://aws.amazon.com/datasets/8172056142375670], e ...
Mapa do Hadoop Reduce For Google
recebemos como atribuição a tarefa de criar funções de redução de mapa que serão exibidas para cada nó n no google web graph list os nós que você pode ir do nó n em 3 saltos. (Os dados reais podem ser encontrados ...