Resultados da pesquisa a pedido "distributed-computing"
O que fazer quando você realmente estragou o design de um sistema distribuído?
Pergunta relacionada: Qual é a maneira mais eficiente de quebrar um banco de dados centralizado? [https://stackoverflow.com/questions/2356805/what-is-the-most-efficient-way-to-break-up-a-centralised-database] Vou tentar fazer essa pergunta ...
Calcular o custo de kmeans
Eu estou usando issomodelo [https://github.com/yahoo/lopq/blob/master/python/lopq/model.py], que não é escrito por mim. Para prever os centróides, tive que fazer isso: model = cPickle.load(open("/tmp/model_centroids_128d_pkl.lopq")) codes ...
Preparar meus dados grandes com Spark via Python
Meus 100m de tamanho, dados quantizados: (1424411938', [3885, 7898]) (3333333333', [3885, 7898])Resultado desejado: (3885, [3333333333, 1424411938]) (7898, [3333333333, 1424411938])Então, o que eu quero é transformar os dados para agrupar 3885 ...
Como equilibrar meus dados entre as partições?
Editar: A resposta ajuda, mas descrevi minha solução em:problema memoryOverhead no Spark [https://gsamaras.wordpress.com/code/memoryoverhead-issue-in-spark/]. Eu tenho um RDD com partições 202092, que lê um conjunto de dados criado por outras ...
Como escrever em CSV no Spark
Estou tentando encontrar uma maneira eficaz de salvar o resultado do meu Spark Job como um arquivo csv. Estou usando o Spark com Hadoop e até agora todos os meus arquivos são salvos comopart-00000. Alguma idéia de como fazer o meu spark saving ...
Versão ruim ou chave endian no MATLAB parfor?
Estou fazendo cálculos paralelos com MATALBparfor. A estrutura do código se parece muito com %%% assess fitness %%% % save communication overheads bitmaps = pop(1, new_indi_idices); porosities = pop(2, new_indi_idices); mid_fitnesses = ...
Como corrigir o libpapi.so. * Não é possível abrir o arquivo de objeto compartilhado ao executar COMPSs (py) com rastreamento?
Quando tento executar algum aplicativo COMPSs com o sistema de rastreamento ativado, recebo o seguinte erro: libpapi.so.5.3.0.0 cannot open shared object fileEstou usando o ubuntu e instalei COMPSs dos pacotes com o apt-get. Para iniciar o ...
Até onde vai o cache do Spark RDD?
Diga que tenho trêsRDD função de transformação chamadardd1: def rdd2 = rdd1.f1 def rdd3 = rdd2.f2 def rdd4 = rdd3.f3Agora eu quero colocar em cacherdd4então eu ligordd4.cache(). Minha pergunta: Somente o resultado da ação emrdd4 em cache ou ...
MPI_Gather 2D array
N é 4, então éN_glob. Acontece que é do mesmo tamanho.p é 4. Aqui está uma pequena parte do código: float **global_grid; float **gridPtr; lengthSubN = N/pSqrt; subN = lengthSubN + 2; grid = allocate2D(grid, subN, subN); .. ...
Por que o JXTA foi abandonado? Alguma alternativa lá fora?
P2p / Grid Computing parece um conceito promissor. O JXTA parece o único em um único framework para isso. Existe uma razão pela qual esse campo é tão pouco p...