Resultados da pesquisa a pedido "mapreduce"
Resultados inesperados no Spark MapReduce
Eu sou novo no Spark e quero entender como o MapReduce é realizado sob o capô para garantir que eu o use corretamente.Esta postagem [https://stackoverflow.com/a/32520848/5880417]forneceu uma ótima resposta, mas meus resultados parecem não seguir ...
Como agrupar a saída mongodb - mapReduce?
Eu tenho uma consulta sobre a estrutura mapReduce no mongodb, então eu tenho um resultado do par de valores-chave da função mapReduce, agora eu quero executar a consulta nesta saída do mapReduce. Então, eu estou usando o mapReduce para descobrir ...
Alterar o prefixo do nome do arquivo de saída para DataFrame.write ()
Os arquivos de saída gerados pelo método Spark SQL DataFrame.write () começam com o prefixo do nome da base "part". por exemplo. DataFrame sample_07 = hiveContext.table("sample_07"); sample_07.write().parquet("sample_07_parquet");Resulta ...
Classificando dados grandes usando o MapReduce / Hadoop
Estou lendo sobre o MapReduce e a seguinte coisa está me confundindo. Suponha que tenhamos um arquivo com 1 milhão de entradas (inteiros) e queremos classificá-las usando o MapReduce. O jeito que eu entendi é o seguinte: Escreva uma função de ...
Qual é a maneira mais eficiente de fazer uma redução classificada no PySpark?
Estou analisando os registros de desempenho pontual dos voos domésticos nos EUA a partir de 2015. Preciso agrupar por número da cauda e armazenar uma lista ordenada por data de todos os voos para cada número da cauda em um banco de dados, a serem ...
IllegalAccessError para o StopWatch da goiaba de org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus
Estou tentando executar o aplicativo spark pequeno e estou recebendo a seguinte exceção: Exception in thread "main" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from ...
Consulta de objetos incorporados no Mongoid / trilhos 3 (“Lower than”, operadores Min e classificação)
Estou usando os trilhos 3 com mongóide. Eu tenho uma coleção de ações com uma coleção incorporada de preços: class Stock include Mongoid::Document field :name, :type => String field :code, :type => Integer embeds_many :prices class Price include ...
Ravendb mapreduce agrupamento por vários campos
Temos um site que contém streaming de vídeo e queremos exibir três relatórios dos vídeos mais assistidos na última semana, mês e ano (uma janela rolante Armazenamos um documento no ravendb sempre que um vídeo é assistido: public class ...
Introdução ao Avro
Eu quero começar a usar o Avro com o Map Reduce. Alguém pode sugerir um bom tutorial / exemplo para começar. Não consegui encontrar muita coisa na pesquisa na Internet.
MapReduce (secundária) de classificação / filtragem - como?
Tenho um arquivo de log de valores com registro de data e hora (usuários simultâneos) de diferentes "zonas" de um webapp de sala de bate-papo no formato "Registro de data e hora; zona; valor". Para cada zona existe um valor por minuto de cada ...