Suchergebnisse für Anfrage "python-multiprocessing"
Python manager.dict () ist im Vergleich zu regulärem dict @ sehr langs
Ich habe ein Dikt zum Speichern von Objekten: jobs = {} job = Job() jobs[job.name] = job Jetzt möchte ich es konvertieren, um Manager-Dikt zu verwenden, da ich Multiprocessing verwenden möchte und dieses Dikt an Prozesse weitergeben muss. mgr = ...
multiprocessing: map vs map_async
Was ist der Unterschied zwischen der Verwendung vonmap undmap_async? Führen sie nicht dieselbe Funktion aus, nachdem sie die Elemente aus der Liste auf 4 Prozesse verteilt haben? So ist es falsch anzunehmen, dass beide asynchron und parallel ...
Wie führe ich mithilfe von PySpark parallel unabhängige Transformationen durch?
Ich versuche, mit PySpark 2 Funktionen auszuführen, die vollständig unabhängige Transformationen auf einer einzelnen RDD gleichzeitig ausführen. Was sind einige Methoden, um dasselbe zu tun? def doXTransforms(sampleRDD): (X transforms) def ...
Verwenden von "Copy-on-Write" zum Kopieren von Daten in Multiprocessing.Pool () Worker-Prozesse
Ich habe ein bisschen vonmultiprocessing Python-Code, der ungefähr so aussieht: import time from multiprocessing import Pool import numpy as np class MyClass(object): def __init__(self): self.myAttribute = np.zeros(100000000) # basically a big ...
Fehlende Zeilen beim Schreiben von Dateien mit Lock Python
Dies ist mein Code: from multiprocessing import Pool, Lock from datetime import datetime as dt console_out = "/STDOUT/Console.out" chunksize = 50 lock = Lock() def writer(message): lock.acquire() with open(console_out, 'a') as ...
Wie man mehrere Keras-Neuronale Netze parallel laufen lässt
Ich versuche, mit Keras einen Algorithmus zum Erlernen der Verstärkung auszuführen. In diesem Algorithmus trainiere ich ein neuronales Netzwerk. Was sich von anderen Lernproblemen unterscheidet, ist, dass ich das neuronale Netzwerk selbst ...
python Berichterstattung läuft auf nie endenden Prozess
Ich habe einen mehrfach verarbeiteten Webserver mit Prozessen, die niemals enden. Ich möchte meine Codeabdeckung für das gesamte Projekt in einer Live-Umgebung überprüfen (nicht nur anhand von Tests). Das Problem ist, dass ich, da die Prozesse ...
Wie führe ich geschachtelte, hierarchische Pathos Multiprocessing Maps aus?
Nachdem ich einen wesentlichen Teil meines Codes für die Dill-Serialisierung / Beizung erstellt habe, versuche ich auch, Pathos Multiprocessing zu verwenden, um meine Berechnungen zu parallelisieren. Pathos ist eine natürliche Erweiterung des ...