Suchergebnisse für Anfrage "sparkr"
Doppelte Spalten in Spark Dataframe
Ich habe eine 10-GB-CSV-Datei in Hadoop-Cluster mit doppelten Spalten. Ich versuche es in SparkR zu analysieren, also benutze ichspark-csv Paket, um es als @ zu analysierDataFrame: df <- read.df( sqlContext, FILE_PATH, source = ...
SparkR: Split-Apply-Combine im Dplyr-Stil für DataFrame
Unter dem vorherigen RDD-Paradigma könnte ich einen Schlüssel angeben und dann eine Operation den RDD-Elementen zuordnen, die jedem Schlüssel entsprechen. Ich sehe keinen klaren Weg, um dies mit DataFrame in SparkR ab 1.5.1 zu tun. Was ich tun ...
Wie werden Null-Einträge in SparkR behandelt?
Ich habe einen SparkSQL DataFrame. Einige Einträge in diesen Daten sind leer, verhalten sich jedoch nicht wie NULL oder NA. Wie könnte ich sie entfernen? Irgendwelche Ideen n R kann ich sie leicht entfernen, aber in sparkR heißt es, dass es ein ...
SparkR collect () und head () Fehler für Spark DataFrame: Argumente implizieren unterschiedliche Zeilenanzahl
Ich habe eine Parkettdatei vom HDFS-System gelesen: path<-"hdfs://part_2015" AppDF <- parquetFile(sqlContext, path) printSchema(AppDF) root |-- app: binary (nullable = true) |-- category: binary (nullable = true) |-- date: binary (nullable = ...
SparkR Fehler in sparkR.init (master = “local”) in RStudio
Ich habe das SparkR-Paket von der Spark-Distribution in die R-Bibliothek installiert. Ich kann den folgenden Befehl aufrufen und es scheint richtig zu funktionieren:library(SparkR) Wenn ich jedoch versuche, den Spark-Kontext mithilfe des ...
Installation von SparkR
Ich habe die letzte Version von R - 3.2.1. Jetzt möchte ich SparkR auf R installieren. Nachdem ich ausgeführt habe: > install.packages("SparkR")Ich bin zurückgekommen Installing package into ‘/home/user/R/x86_64-pc-linux-gnu-library/3.2’ (as ...
Laden von com.databricks.spark.csv über RStudio
Ich habe Spark-1.4.0 installiert. Ich habe auch das R-Paket SparkR installiert und kann es über Spark-Shell und RStudio verwenden. Es gibt jedoch einen Unterschied, den ich nicht lösen kann. Wenn die SparkR-Shell gestartet wird ./bin/sparkR ...
Seite 2 von 2