Resultados da pesquisa a pedido "parallel-processing"
Enviando dados para trabalhadores
Estou tentando criar um pedaço de código paralelo para acelerar o processamento de uma matriz muito grande (algumas centenas de milhões de linhas). Para paralelizar isso, cortei meus dados em 8 (meu número de núcleos) e tentei enviar a cada ...
Economizando tempo e memória usando o parfor?
Considerarprova.mat no MATLAB obtido da seguinte maneira for w=1:100 for p=1:9 A{p}=randn(100,1); end baseA_.A=A; eval(['baseA.A' num2str(w) '= baseA_;']) end save(sprintf('prova.mat'),'-v7.3', 'baseA')Para ter uma idéia das dimensões reais dos ...
Divida data.table em partes aproximadamente iguais
Para paralelizar uma tarefa, preciso dividir uma grande tabela de dados em partes aproximadamente iguais, mantendo juntos os grupos desinfetados por uma coluna,id. Suponha: N é o comprimento dos dados k é o número de valores distintos deid M é ...
R makeCluster () paralelo trava infinitamente no Mac
Me deparei com um problema quando estava tentando usarparallel pacote em R no meu Mac. Aqui está como o pacote paralelo funciona normalmente. cl = makeCluster(2) # Using 2-core parallel as an example # Your parallel code stopCluster(cl)Quando ...
Medição de progresso com a função Pool e map de multiprocessamento do python
A seguir, código que estou usando para processamento paralelo de CSV: #!/usr/bin/env python import csv from time import sleep from multiprocessing import Pool from multiprocessing import cpu_count from multiprocessing import current_process from ...
Como definir .libPaths (ponto de verificação) em trabalhadores ao executar computação paralela em R
Eu uso o pacote de ponto de verificação para análise de dados reproduzíveis. Alguns cálculos levam muito tempo para serem computados, então eu quero executá-los em paralelo. Quando executado em paralelo, no entanto, o ponto de verificação não ...
Como ler e escrever várias tabelas em paralelo no Spark?
No meu aplicativo Spark, estou tentando ler várias tabelas do RDBMS, fazendo algum processamento de dados e depois gravando várias tabelas em outro RDBMS da seguinte maneira (no Scala): val reading1 = sqlContext.load("jdbc", Map("url" -> myurl1, ...
Consultas mysql paralelas em php?
Estou compartilhando meus dados em vários bancos de dados mysql, mas às vezes precisarei coletar informações de vários shards. Como posso consultar vários bancos de dados mysql em paralelo em php? Eu já vi alguns exemplos de solicitações de ...
Problema com o bloco comum na programação paralela do OpenMP
Eu tenho algumas perguntas sobre o uso de blocos comuns na programação paralela no Fortran. Minhas sub-rotinas têm blocos comuns. Eu tenho que declarar todos os blocos comuns e threadprivate na região do paralelo? Como eles passam informações? ...
Solicitações paralelas assíncronas estão sendo executadas seqüencialmente
Estou executando um servidor usando o Node.js e preciso solicitar dados de outro servidor que estou executando (localhost:3001) Preciso fazer muitos pedidos (~ 200) para o servidor de dados e coletar os dados (os tamanhos de resposta variam de ~ ...