Resultados de la búsqueda a petición "joblib"

0 la respuesta

Python3 Joblib-Comienza usando múltiples núcleos, cae a un solo núcleo

Prefiero esto diciendo que soy nuevo en el procesamiento paralelo. Estoy trabajando para mejorar, pero no puedo encontrar una respuesta a mi problema, que parece ser bastante único. Tengo problemas con este código: from joblib import Parallel ...

0 la respuesta

¿Cómo lograr el paralelismo de la GPU usando el flujo de tensor?

Estoy escribiendo unagpu programa de coincidencia de cadenas basado en tensorflow editar distancia caracteristicas. Al conocer la parte correspondiente, extraeré los detalles y luego los guardaré en una tabla de datos que finalmente se guardará ...

4 la respuesta

Decoradores para almacenamiento en caché selectivo / memorización

Estoy buscando una forma de construir un decorador@memoize que puedo usar en funciones de la siguiente manera: @memoize my_function(a, b, c): # Do stuff # result may not always be the same for fixed (a,b,c) return resultEntonces, si lo ...

1 la respuesta

La capacitación de modelos sklearn en paralelo con joblib bloquea el proceso

Como se sugiere enesta respuesta [https://stackoverflow.com/questions/29589327/train-multiple-models-in-parallel-with-sklearn] , Intenté usar joblib para entrenar varios modelos de scikit-learn en paralelo. import joblib import numpy from ...

2 la respuesta

Escribir un ciclo paralelo

Estoy tratando de ejecutar un bucle paralelo en un ejemplo simple. ¿Qué estoy haciendo mal? from joblib import Parallel, delayed import multiprocessing def processInput(i): return i * i if __name__ == '__main__': # what are your inputs, and ...

3 la respuesta

¿Cómo podemos usar tqdm en una ejecución paralela con joblib?

Quiero ejecutar una función en paralelo y esperar hasta que todos los nodos paralelos estén listos, usando joblib. Como en el ejemplo: from math import sqrt from joblib import Parallel, delayed Parallel(n_jobs=2)(delayed(sqrt)(i ** 2) for i in ...

2 la respuesta

Procesamiento paralelo de marco de datos de pandas grandes

Estoy accediendo a un marco de datos de Pandas muy grande como una variable global. Se accede a esta variable en paralelo a través debolsa de trabajo [https://pythonhosted.org/joblib/parallel.html]. P.ej. df = db.query("select id, a_lot_of_data ...

1 la respuesta

Cómo compartir una variable en la biblioteca Python 'joblib'

from joblib import Parallel, delayed def func(v): temp.append(v) return temp = [] Parallel(n_jobs=4)(delayed(func)(v) for v in range(10)) print tempQuiero hacer que la memoria compartida sea variable. Pero el valor de temp está vacío []. ¿Cómo ...

1 la respuesta

¿Por qué es importante proteger el bucle principal cuando se utiliza joblib.Parallel?

Los documentos de joblib contienen la siguiente advertencia: En Windows, es importante proteger el bucle principal de código para evitar el reaparición recurrente de subprocesos cuando se utiliza joblib.Parallel. En otras palabras, deberías ...