Suchergebnisse für Anfrage "distributed-computing"
So schreiben Sie in Spark an CSV
Ich versuche, eine effektive Methode zum Speichern des Ergebnisses meines Spark-Jobs als CSV-Datei zu finden. Ich verwende Spark mit Hadoop und bis jetzt werden alle meine Dateien gespeichert alspart-00000. Irgendwelche Ideen, wie ich meinen ...
Was tun, wenn Sie den Entwurf eines verteilten Systems wirklich vermasselt haben?
Verwandte Frage: Wie lässt sich eine zentralisierte Datenbank am effizientesten auflösen? [https://stackoverflow.com/questions/2356805/what-is-the-most-efficient-way-to-break-up-a-centralised-database] Ich werde versuchen, diese Frage relativ ...
Corba ORBD-Fehler
Ich entwickle ein einfaches Remote Administration Tool mit CORBA. Dies ist mein Servercode. /* * To change this template, choose Tools | Templates * and open the template in the editor. */ package simrat; import SimRATApp.SimRAT; ...
Ungültige Version oder Endian-Key in MATLAB parfor?
Ich mache parallele Berechnungen mit MATALBparfor. Die Codestruktur sieht ziemlich ähnlich aus %%% assess fitness %%% % save communication overheads bitmaps = pop(1, new_indi_idices); porosities = pop(2, new_indi_idices); mid_fitnesses = ...
Wie funktioniert die Spark-Aggregatfunktion - aggregateByKey?
Angenommen, ich habe ein Verteilungssystem auf 3 Knoten und meine Daten werden auf diese Knoten verteilt. Ich habe zum Beispiel eine test.csv-Datei, die auf allen drei Knoten vorhanden ist und 2 Spalten enthält: **row | id, c.** --------------- ...
Wie weit geht der Spark-RDD-Cache?
Sag ich habe drei RDD Transformationsfunktion aufgerufen auf rdd1: def rdd2 = rdd1.f1 def rdd3 = rdd2.f2 def rdd4 = rdd3.f3 Jetzt möchte ich @ cachrdd4, also rufe ichrdd4.cache(). Meine Frage Wird nur das Ergebnis der Aktion aufrdd4 ...
Calculate the median of a billion number
Wenn Sie eine Milliarde Zahlen und einhundert Computer haben, wie können Sie den Median dieser Zahlen am besten ermitteln? Eine Lösung, die ich habe, ist: Teilen Sie das Gerät gleichmäßig auf die Computer auf.Sortiere sie.Finden Sie die Mediane ...
apache spark, "Fehler beim Erstellen eines lokalen Verzeichnisses"
Ich versuche, Apache-Spark auf einem kleinen eigenständigen Cluster (1 Master-Knoten und 8 Slave-Knoten) einzurichten. Ich habe die "vorgefertigte" Version von Spark 1.1.0 installiert, die auf Hadoop 2.4 aufbaut. Ich habe das kennwortlose ssh ...
Was ist der Unterschied zwischen Cache und Persist?
BezüglichRDD Persistenz, was sind die Unterschiede zwischencache() undpersist() im Funken?
Was ist Terrakotta?
Was ist Terrakotta?Welche Dienstleistungen bietet es an?Welche Probleme löst es?Welche anderen Produkte lösen ähnliche Probleme wie Terracotta?