Suchergebnisse für Anfrage "joblib"
Wie können wir tqdm in einer parallelen Ausführung mit joblib verwenden?
Ich möchte eine Funktion parallel ausführen und warten, bis alle parallelen Knoten mit joblib fertig sind. Wie im Beispiel: from math import sqrt from joblib import Parallel, delayed Parallel(n_jobs=2)(delayed(sqrt)(i ** 2) for i in ...
SQL-Abfragen auswendig lernen
Angenommen, ich habe eine Funktion, die eine SQL-Abfrage ausführt und einen Datenrahmen zurückgibt: import pandas.io.sql as psql import sqlalchemy query_string = "select a from table;" def run_my_query(my_query): # username, host, port and ...
Large Pandas Dataframe Parallelverarbeitung
Ich greife auf einen sehr großen Pandas-Datenrahmen als globale Variable zu. Auf diese Variable wird parallel über @ zugegriff joblib [https://pythonhosted.org/joblib/parallel.html]. Z.B df = db.query("select id, a_lot_of_data from table") def ...
Wie teile ich eine Variable in der 'joblib' Python Bibliothek?
from joblib import Parallel, delayed def func(v): temp.append(v) return temp = [] Parallel(n_jobs=4)(delayed(func)(v) for v in range(10)) print tempIch möchte Shared Memory variabel machen. Der Wert von temp ist jedoch leer []. Wie kann ich es ...
Eine parallele Schleife schreiben
Ich versuche, eine parallele Schleife an einem einfachen Beispiel auszuführen. Was mache ich falsch from joblib import Parallel, delayed import multiprocessing def processInput(i): return i * i if __name__ == '__main__': # what are your inputs, ...
Warum ist es wichtig, die Hauptschleife bei der Verwendung von joblib.Parallel zu schützen?
Die JobLib-Dokumente enthalten die folgende Warnung: Unter Windows ist es wichtig, die Hauptschleife des Codes zu schützen, um ein rekursives Auftreten von Unterprozessen bei der Verwendung von joblib.Parallel zu vermeiden. Mit anderen Worten, ...
Dekoratoren für selektives Caching / Merken
Ich suche nach einer Möglichkeit, einen Dekorateur zu bauen@memoize das kann ich in funktionen wie folgt verwenden: @memoize my_function(a, b, c): # Do stuff # result may not always be the same for fixed (a,b,c) return resultThen, wenn ich ...