Suchergebnisse für Anfrage "apache-spark"
Wie kann ich die Spark-Protokollierung in Komponententests unterdrücken?
So dank leicht googleable Blogs habe ich versucht: import org.specs2.mutable.Specification class SparkEngineSpecs extends Specification { sequential def setLogLevels(level: Level, loggers: Seq[String]): Map[String, Level] = ...
So laden Sie eine lokale Datei in sc.textFile anstelle von HDFS
Ich verfolge die großenspark Tutorial [https://www.youtube.com/watch?v=VWeWViFCzzg] Also versuche ich um 46:00 Uhr das @ zu ladREADME.md aber nicht zu dem, was ich tue, ist das: $ sudo docker run -i -t -h sandbox sequenceiq/spark:1.1.0 ...
apache spark MLLib: Wie erstelle ich beschriftete Punkte für Zeichenketten-Features?
ch versuche, mit Spark's MLLib einen NaiveBayes-Klassifikator zu erstellen, der eine Reihe von Dokumenten als Eingabe verwende Ich möchte einige Dinge als Features definieren (d. H. Autoren, explizite Tags, implizite Schlüsselwörter, ...
Mllib Abhängigkeitsfehler
Ich versuche, mit der Mllib eine sehr einfache Scala-Standalone-App zu erstellen. Beim Versuch, das Programm zu erweitern, wird jedoch die folgende Fehlermeldung angezeigt: Object Mllib is not a member of package org.apache.spark Dann wurde mir ...
Warum schlägt Spark mit java.lang.OutOfMemoryError fehl: GC-Overhead-Limit überschritten?
Ich versuche, einen Hadoop Map / Reduce-Job zu implementieren, der zuvor in Spark einwandfrei funktioniert hat. Die Definition der Spark-App lautet wie folgt: val data = spark.textFile(file, 2).cache() val result = data ...
Apache Spark - Umgang mit Schiebefenstern auf temporären RDDs
Ich habe in den letzten Monaten ziemlich viel mit Apache Spark gearbeitet, aber jetzt habe ich eine ziemlich schwierige Aufgabe erhalten, Durchschnitt / Minimum / Maximum usw. auf einem Schiebefenster über ein gepaartes @ zu berechneRDD wobei ...
So verarbeiten Sie mehrzeilige Eingabedatensätze in Spark
Ich habe jeden Datensatz über mehrere Zeilen in der Eingabedatei verteilt (sehr große Datei). Ex Id: 2 ASIN: 0738700123 title: Test tile for this product group: Book salesrank: 168501 similar: 5 0738700811 1567184912 1567182813 0738700514 ...
Warum schlägt die Funkenübertragung und die Funkenhülle fehl, wenn die JAR-Datei der Funkenbaugruppe nicht gefunden wurde. Sie müssen Spark erstellen, bevor Sie dieses Programm ausführen können. "?
Ich habe versucht, spark-submit auszuführen und erhalte die Meldung "Spark-Assembly-JAR konnte nicht gefunden werden. Sie müssen Spark erstellen, bevor Sie dieses Programm ausführen." Wenn ich versuche, spark-shell auszuführen, erhalte ich den ...
So teilen Sie die Eingabedatei in Apache Spark auf
Angenommen, ich habe eine Eingabedatei mit einer Größe von 100 MB. Es enthält eine große Anzahl von Punkten (Lat-Long-Paar) im CSV-Format. Was kann ich tun, um die Eingabedatei in Apache Spark in 10 10-MB-Dateien aufzuteilen, oder wie kann ich ...
Spark: So starten Sie die Spark-Datei von der Spark-Shell
Ich benutze CDH 5.2. Ich kann @ verwend spark-shell, um die Befehle auszuführen. Wie kann ich die Datei (file.spark) ausführen, die Spark-Befehle enthält? Gibt es eine Möglichkeit, die Scala-Programme in CDH 5.2 ohne sbt auszuführen / ...