Suchergebnisse für Anfrage "parallel-processing"
Python: Wie führe ich einen verschachtelten parallelen Prozess in Python aus?
Ich habe einen Datensatzdf von Händlertransaktionen. Ich habe 2 Ebenen für Schleifen wie folgt: smartTrader =[] for asset in range(len(Assets)): df = df[df['Assets'] == asset] # I have some more calculations here for trader in ...
multiprocessing queue full
Ich verwende concurrent.futures, um Multiprocessing zu implementieren. Ich erhalte eine Warteschlange. Voller Fehler, der seltsam ist, weil ich nur 10 Jobs zugebe. A_list = [np.random.rand(2000, 2000) for i in range(10)] ...
Python - Paralleles Verarbeiten und Bearbeiten von Dateien in einem Verzeichnis
Aktuelles Szenario: Ich habe 900 Dateien in einem Verzeichnis namens directoryA. Die Dateien heißen file0.txt bis file 899.txt und sind jeweils 15 MB groß. Ich durchlaufe jede Datei nacheinander in Python. Jede Datei, die ich als Liste lade, ...
Task Parallel ist instabil und verwendet zeitweise 100% der CPU.
Ich teste gerade Parallel für C # aus. Im Allgemeinen funktioniert es einwandfrei und die parallele Verwendung ist schneller als die normalen foreach-Schleifen. Manchmal (wie z. B. 1 von 5) erreicht meine CPU jedoch eine Auslastung von 100%, was ...
Wie wird MPI_Gatherv zum Sammeln von Zeichenfolgen unterschiedlicher Länge von verschiedenen Prozessoren einschließlich des Hauptknotens verwendet?
Ich versuche, verschiedene Zeichenfolgen unterschiedlicher Länge von allen Prozessoren (einschließlich des Masterknotens) in einer einzelnen Zeichenfolge (Array von Zeichen) am Masterknoten zu sammeln. Hier ist der Prototyp für MPI_Gatherv: int ...
Wie kann ich R dazu bringen, mehr CPU-Auslastung zu verwenden?
Mir ist aufgefallen, dass R nicht die gesamte CPU belegt, und ich möchte das enorm steigern (auf 100%). Ich möchte nicht, dass es nur einige Funktionen parallelisiert. Ich möchte, dass R mehr von meinen CPU-Ressourcen nutzt. Ich versuche, ein ...
Daten an Mitarbeiter senden
Ich versuche, einen parallelen Code zu erstellen, um die Verarbeitung eines sehr großen Arrays (einige hundert Millionen Zeilen) zu beschleunigen. Um dies zu parallelisieren, habe ich meine Daten in 8 (meine Anzahl von Kernen) Teile zerlegt und ...
Mit parfor Zeit und Speicher sparen?
Erwägenprova.mat in MATLAB wie folgt erhalten for w=1:100 for p=1:9 A{p}=randn(100,1); end baseA_.A=A; eval(['baseA.A' num2str(w) '= baseA_;']) end save(sprintf('prova.mat'),'-v7.3', 'baseA')Um eine Vorstellung von den tatsächlichen Abmessungen ...
Split data.table in ungefähr gleiche Teile
Um eine Aufgabe parallelisieren zu können, muss ich eine Big-Data-Tabelle in ungefähr gleiche Teile aufteilen, um Gruppen zusammenzuhalten, die durch eine Spalte deinfiziert wurden.id. Annehmen N ist die Länge der Daten k ist die Anzahl der ...
Wie kann man in Spark mehrere Tabellen gleichzeitig lesen und schreiben?
In meiner Spark-Anwendung versuche ich, mehrere Tabellen aus RDBMS zu lesen, einige Daten zu verarbeiten und dann wie folgt mehrere Tabellen in ein anderes RDBMS zu schreiben (in Scala): val reading1 = sqlContext.load("jdbc", Map("url" -> ...