Suchergebnisse für Anfrage "apache-spark"
Der Zweck von ClosureCleaner.clean
Vorsc.runJob ruft aufdagScheduler.runJobwird die auf der rdd durchgeführte func von "gereinigt"ClosureCleaner.clean. Warum muss spark das tun? Was ist der Zweck?
Wie führe ich den Spark-Entscheidungsbaum mit einem kategorialen Feature-Set in Scala aus?
Ich habe ein Feature-Set mit einem entsprechenden categoricalFeaturesInfo: Map [Int, Int]. Für mein ganzes Leben kann ich jedoch nicht herausfinden, wie ich die DecisionTree-Klasse zum Laufen bringen soll. Es wird nur ein LabeledPoint als Daten ...
Wie verwende ich TwitterUtils in der Spark-Shell?
Ich versuche, die twitterUtils in der Spark-Shell zu verwenden (wo sie standardmäßig nicht verfügbar sind). Ich habe folgendes ...
SPARK SQL - Fall dann
Ich bin neu bei SPARK-SQL. Gibt es in SPARK SQL ein Äquivalent zu "CASE WHEN 'CONDITION' THEN 0 ELSE 1 END"? select case when 1=1 then 1 else 0 end from table Danke Sridhar
Analysieren Sie CSV als DataFrame / DataSet mit Apache Spark und Java
Ich bin neu in der Funkenbildung und möchte Group-by & Reduce verwenden, um Folgendes aus CSV zu ermitteln (eine Zeile pro Angestelltem): Department, Designation, costToCompany, State Sales, Trainee, 12000, UP Sales, Lead, 32000, AP Sales, Lead, ...
Wie deaktiviere ich die INFO-Protokollierung in Spark?
Ich habe Spark mithilfe des AWS EC2-Handbuchs installiert und kann das Programm mit dem in Ordnung bringenbin/pyspark Skript, um zur Funken-Eingabeaufforderung zu gelangen, und kann auch die Schnellstart-Quide erfolgreich ausführen. Allerdings ...
Wie installiere ich pyspark zur Verwendung in eigenständigen Skripten?
Ich versuche, Spark mit Python zu verwenden. Ich habe die Spark 1.0.2 für Hadoop 2-Binärdistribution von der installiertDownloads [https://spark.apache.org/downloads.html]Seite. Ich kann die Schnellstart-Beispiele im interaktiven Python-Modus ...
Wie melde ich mich von meinem Python Spark-Skript aus an?
Ich habe ein Python Spark-Programm, mit dem ich laufespark-submit. Ich möchte Protokollierungsanweisungen einfügen. logging.info("This is an informative message.") logging.debug("This is a debug message.")Ich möchte denselben Logger verwenden, ...
Anzeigen von RDD-Inhalten in Python Spark?
Ausführen einer einfachen App in Pyspark. f = sc.textFile("README.md") wc = f.flatMap(lambda x: x.split(' ')).map(lambda x: (x, 1)).reduceByKey(add)Ich möchte RDD-Inhalte mit foreach-Aktion anzeigen: wc.foreach(print)Dies löst einen ...
Schreiben an HBase über Spark: Task nicht serialisierbar
Ich versuche, einige einfache Daten in HBase (0.96.0-hadoop2) mit Spark 1.0 zu schreiben, bekomme aber immer wieder Probleme mit der Serialisierung. Hier ist der relevante Code: import org.apache.hadoop.hbase.client._ ...