Resultados de la búsqueda a petición "parallel-processing"
¿Cómo usar MPI_Gatherv para recopilar cadenas de diferente longitud de diferentes procesadores, incluido el nodo maestro?
Estoy tratando de recopilar diferentes cadenas de diferente longitud de todos los procesadores (incluido el nodo maestro) en una sola cadena (matriz de caracteres) en el nodo maestro. Aquí está el prototipo para MPI_Gatherv: int ...
¿Cómo puedo hacer que R use más CPU?
Noté que R no usa toda mi CPU, y quiero aumentarla tremendamente (hasta el 100%). No quiero que solo paralelice algunas funciones; Quiero que R use más de mis recursos de CPU. Estoy tratando de ejecutar un programa de empaquetado de IP puro ...
Tarea paralela es inestable, utilizando CPU 100% a veces
Actualmente estoy probando Parallel para C #. En general, funciona bien, y el uso de paralelo es más rápido que los bucles foreach normales. Sin embargo, a veces (como 1 de cada 5 veces), mi CPU alcanzará el 100% de uso, haciendo que las tareas ...
Enviar datos a trabajadores
Estoy tratando de crear una pieza de código paralelo para acelerar el procesamiento de una matriz muy grande (un par de cientos de millones de filas). Para paralelizar esto, corté mis datos en 8 piezas (mi número de núcleos) e intenté enviar a ...
¿Ahorrando tiempo y memoria usando parfor?
Considerarprova.mat en MATLAB obtenido de la siguiente manera for w=1:100 for p=1:9 A{p}=randn(100,1); end baseA_.A=A; eval(['baseA.A' num2str(w) '= baseA_;']) end save(sprintf('prova.mat'),'-v7.3', 'baseA')Para tener una idea de las dimensiones ...
Dividir data.table en partes más o menos iguales
Para paralelizar una tarea, necesito dividir una gran tabla de datos en partes más o menos iguales, manteniendo juntos grupos definidos por una columna,id. Suponer: N es la longitud de los datos k es el número de valores distintos deid M es el ...
Medición del progreso con el multiprocesamiento de Python y la función de mapa
El siguiente código que estoy usando para el procesamiento paralelo de CSV: #!/usr/bin/env python import csv from time import sleep from multiprocessing import Pool from multiprocessing import cpu_count from multiprocessing ...
¿Consultas paralelas de mysql en php?
Estoy fragmentando mis datos en múltiples bases de datos mysql, pero a veces tendré que recopilar información de múltiples fragmentos. ¿Cómo puedo consultar múltiples bases de datos mysql en paralelo en php? He visto algunos ejemplos de ...
¿Cómo leer y escribir varias tablas en paralelo en Spark?
En mi aplicación Spark, estoy tratando de leer varias tablas de RDBMS, haciendo un procesamiento de datos, luego escribo varias tablas en otro RDBMS de la siguiente manera (en Scala): val reading1 = sqlContext.load("jdbc", Map("url" -> myurl1, ...
Las solicitudes paralelas asíncronas se ejecutan secuencialmente
Estoy ejecutando un servidor usando Node.js y necesito solicitar datos de otro servidor que estoy ejecutando (localhost:3001) Necesito hacer muchas solicitudes (~ 200) al servidor de datos y recopilar los datos (los tamaños de respuesta varían de ...