Resultados de la búsqueda a petición "sparkr"
Error de SparkR collect () y head () para Spark DataFrame: los argumentos implican un número diferente de filas
Leí un archivo de parquet del sistema HDFS: path<-"hdfs://part_2015" AppDF <- parquetFile(sqlContext, path) printSchema(AppDF) root |-- app: binary (nullable = true) |-- category: binary (nullable = true) |-- date: binary (nullable = true) |-- ...
Cómo manejar entradas nulas en SparkR
Tengo un SparkSQL DataFrame. Algunas entradas en estos datos están vacías pero no se comportan como NULL o NA. ¿Cómo podría eliminarlos? ¿Algunas ideas? En R puedo eliminarlos fácilmente, pero en sparkR dice que hay un problema con el sistema / ...
SparkR: dplyr-style split-apply-combine en DataFrame
Bajo el paradigma RDD anterior, podría especificar una clave y luego asignar una operación a los elementos RDD correspondientes a cada clave. No veo una forma clara de hacer esto con DataFrame en SparkR a partir de 1.5.1. Lo que me gustaría hacer ...
Columnas duplicadas en Spark Dataframe
Tengo un archivo csv de 10GB en clúster hadoop con columnas duplicadas. Intento analizarlo en SparkR, así que usospark-csv paquete para analizarlo comoDataFrame: df <- read.df( sqlContext, FILE_PATH, source = "com.databricks.spark.csv", header = ...
Escribir marcos de datos R devueltos desde SparkR ::: map
Estoy usando SparkR ::: map y mi función devuelve un marco de datos R de gran tamaño para cada fila de entrada, cada una de la misma forma. Me gustaría escribir estos marcos de datos como archivos de parquet sin 'recopilarlos'. ¿Puedo asignar ...
SparkR muestra mal el carácter chino
Soy nuevo en SparkR, en estos días me encontré con un problema que después de convertir un archivo que contenía caracteres chinos en SparkR, ya no se mostraba correctamente. Me gusta esto: city=c("北京","上海","杭州") A <- as.data.frame(city) A city 1 ...
Trabajo SparkR 100 minutos de tiempo de espera
He escrito un script sparkR un poco complejo y lo ejecuto usando spark-submit. Lo que básicamente hace el script es leer una gran tabla basada en parqué colmena / impala fila por fila y generar un nuevo archivo de parquet que tenga el mismo ...
Sparkr escribe DF como archivo csv / txt
Hola, estoy trabajando en sparkR en modo hilo. Necesito escribir un sparkr df en un archivo csv / txt. Vi que haywrite.df pero escribe archivos de parquet. Traté de hacer estas cosas RdataFrame<-collect(SparkRDF) write.table(RdataFrame, ...
¿Debo preinstalar paquetes cran r en nodos de trabajo cuando uso sparkr
Quiero usar paquetes r en cran comoforecast etc con sparkr y cumplir después de dos problemas. ¿Debo preinstalar todos esos paquetes en los nodos de trabajo? Pero cuando leo el código fuente de chispaEste ...
Página 2 de 2