Resultados da pesquisa a pedido "distributed-computing"
escalabilidade de centelha: o que estou fazendo de errado?
Estou processando dados com spark e ele funciona com um dia de dados (40G), mas falha comOOMem uma semana de dados: import pyspark import datetime import operator sc = pyspark.SparkContext() sqc = pyspark.sql.SQLContext(sc) ...
Como MPI_IN_PLACE trabalha com MPI_Scatter?
O que exatamente fazMPI_IN_PLACE fazer quando dado como argumento paraMPI_Scatter e como deve ser usado? Não consigo entenderman MPI_Scatter: Quando o comunicador é um intracomunicador, você pode executar uma operação de coleta no local (o ...
Blocos de matriz de dispersão de tamanhos diferentes usando MPI
(Suponha que todas as matrizes sejam armazenadas na ordem das linhas principais.) Um exemplo que ilustra o problema é distribuir uma matriz 10x10 sobre uma grade 3x3, para que o tamanho das sub-matrizes em cada nó se ...
A maneira mais fácil de instalar dependências do Python nos nós do executor do Spark?
Entendo que você pode enviar arquivos individuais como dependências com os programas Python Spark. Mas e as bibliotecas completas (por exemplo, numpy)? O Spark tem uma maneira de usar um gerenciador de pacotes fornecido (por exemplo, pip) para ...
como interpretar RDD.treeAggregate
Eu encontreiestá linha [https://github.com/apache/spark/blob/01f09b161217193b797c8c85969d17054c958615/mllib/src/main/scala/org/apache/spark/mllib/optimization/GradientDescent.scala#L236-L248] na fonte de código do Apache Spark val (gradientSum, ...
C # Como gerar número aleatório depende de probabilidades
Eu tenho uma situação em que preciso gerar um número aleatório, esse número deve serzero ouone Então, o código é algo como isto: randomNumber = new Random().Next(0,1)No entanto, os requisitos de negócios afirmam que há apenas 10% de ...
Como calcular o inverso de um RowMatrix no Apache Spark?
Eu tenho um X, matriz distribuída, no formato RowMatrix. Estou usando o Spark 1.3.0. Eu preciso ser capaz de calcular X inverso.
Como armazenar e obter dados dos arquivos de mapeamento de memória usando o CopyMemory no VBA?
Estou tentando criar um sistema de computação distributiva que usa arquivos de mapeamento de memória para coordenar o trabalho entre vários PCs em rede, todos via VBA. Em outras palavras, quero que um grupo de computadores em rede trabalhe ao ...
Filas de trabalho do Akka.Net
Eu tenho uma estrutura de computação distribuída existente, construída sobre o MassTransit e o RabbitMQ. Existe essencialmente um gerente que responde com o trabalho com base em solicitações. Cada trabalhador terá uma certa quantidade de itens ...
SparkContext não serializável dentro de um objeto complementar
Atualmente, estou tentando estender um aplicativo Machine Learning que usa Scala e Spark. Estou usando a estrutura de um projeto anterior de Dieterich Lawson que encontrei no ...