Suchergebnisse für Anfrage "apache-spark"
Execute SQL on Ignite Cache von BinaryObjects
Ich erstelle einen Cache von BinaryObject aus einem Funken eines Datenrahmens und möchte dann SQL für diesen Cache ausführen. Hier ist mein Code wobank ist der Datenrahmen, der drei Felder enthält (ID, Name und Alter): val ic = new ...
perform Join für mehrere DataFrames in spark
Ich habe 3dataframes aus 3 verschiedenen Prozessen generiert. Jeder Datenrahmen hat Spalten mit demselben Namen. Mein Datenrahmen sieht so aus id val1 val2 val3 val4 1 null null null null 2 A2 A21 A31 A41 id val1 val2 val3 val4 1 B1 B21 B31 B41 ...
Wie kann die dynamische Selbstzuweisung von Ressourcen im Hadoop-Cluster unter "Garn" begrenzt werden?
In unserem Hadoop-Cluster, der unter Yarn ausgeführt wird, haben wir das Problem, dass einige "klügere" Leute in der Lage sind, erheblich größere Ressourcenmengen zu verbrauchen, indem sie Spark-Jobs in pySpark Jupyter-Notizbüchern konfigurieren ...
Wie man von spark @ eine Verbindung zum Remote-Hive-Server herstel
Ich führe Spark lokal aus und möchte auf Hive-Tabellen zugreifen, die sich im fernen Hadoop-Cluster befinden. Ich kann auf die Hive-Tabellen zugreifen, indem ich beeline unter SPARK_HOME @ start [ml@master spark-2.0.0]$./bin/beeline Beeline ...
Scala: Mit log4j @ Protokoll in Datei schreib
Ich versuche, in Eclipse eine JAR-Datei auf Scala-Basis zu erstellen, die log4j zum Erstellen von Protokollen verwendet. Es wird perfekt in der Konsole ausgedruckt, aber wenn ich versuche, es mit der Datei log4j.properties in eine Protokolldatei ...
Löschen mehrerer Spalten aus Spark-Datenrahmen durch Durchlaufen der Spalten aus einer Scala-Liste mit Spaltennamen
Ich habe einen Datenrahmen mit Spalten um 400. Ich möchte 100 Spalten gemäß meiner Anforderung löschen. Deshalb habe ich eine Scala-Liste mit 100 Spaltennamen erstellt. Und dann möchte ich durch eine for-Schleife iterieren, um die Spalte in jeder ...
How to fix java.lang.ClassCastException: Instanz von scala.collection.immutable.List kann nicht dem Feldtyp scala.collection.Seq zugewiesen werden?
Dieser Fehler war am schwierigsten nachzuvollziehen. Ich bin nicht sicher, was los ist. Auf meinem Standortcomputer wird ein Spark-Cluster ausgeführt. so ist der gesamte Funken-Cluster unter einem Host, der @ i127.0.0.1 und ich laufe ...
scala.reflect.internal.MissingRequirementError: Objekt java.lang.Object im Compilerspiegel nicht gefunden
Ich versuche, eine Spark-Streaming-Anwendung mit dem sbt-Paket zu erstellen. Ich kann den Grund für diesen Fehler nicht ermitteln. dies ist eine Sache des Fehlers scala.reflect.internal.MissingRequirementError: Objekt java.lang.Object ...
Spark RDD: Wie berechnet man Statistiken am effizientesten?
ngenommen, es gibt eine RDD mit Tupeln, die der folgenden ähnel (key1, 1) (key3, 9) (key2, 3) (key1, 4) (key1, 5) (key3, 2) (key2, 7) ...Was ist die effizienteste (und im Idealfall verteilte) Methode zur Berechnung von Statistiken, die den ...
Wie kann ich mit Spark-Scala eine CSV-Datei aus dem Internet herunterladen?
Welt Wie kann ich mit Spark-Scala eine CSV-Datei aus dem Internet herunterladen und in einen Spark-CSV-DataFrame laden? Gegenwärtig bin ich auf das Einrollen in einem Shell-Befehl angewiesen, um meine CSV-Datei zu erhalten. Hier ist die ...