Resultados de la búsqueda a petición "sparkr"
SparkR muestra mal el carácter chino
Soy nuevo en SparkR, en estos días me encontré con un problema que después de convertir un archivo que contenía caracteres chinos en SparkR, ya no se mostraba correctamente. Me gusta esto: city=c("北京","上海","杭州") A <- as.data.frame(city) A city 1 ...
Agregar columna a DataFrame en sparkR
Me gustaría agregar una columna llena de un personajeN en un DataFrame en SparkR. Lo haría así con un código que no sea SparkR: df$new_column <- "N"Pero con SparkR, obtengo el siguiente error: Error: class(value) == "Column" || is.null(value) ...
¿Cómo deshacer datos con SparkR?
UtilizandoSparkR ¿Cómo se pueden "explotar" las matrices anidadas? He intentado usarexplode al igual que: dat <- nested_spark_df %>% mutate(a=explode(metadata)) %>% head()pero aunque lo anterior no provoca una excepción, no promueve los campos ...
SparkR: dplyr-style split-apply-combine en DataFrame
Bajo el paradigma RDD anterior, podría especificar una clave y luego asignar una operación a los elementos RDD correspondientes a cada clave. No veo una forma clara de hacer esto con DataFrame en SparkR a partir de 1.5.1. Lo que me gustaría hacer ...
Instalación de SparkR
Tengo la última versión de R - 3.2.1. Ahora quiero instalar SparkR en R. Después de ejecutar: > install.packages("SparkR")Regresé: Installing package into ‘/home/user/R/x86_64-pc-linux-gnu-library/3.2’ (as ‘lib’ is unspecified) Warning in ...
SparkR vs sparklyr [cerrado]
¿Alguien tiene una visión general con respecto a las ventajas / desventajas de SparkR vs sparklyr? Google no produce resultados satisfactorios y ambos parecen bastante similares. Al probar ambos, SparkR parece mucho más engorroso, mientras que ...
Escribir marcos de datos R devueltos desde SparkR ::: map
Estoy usando SparkR ::: map y mi función devuelve un marco de datos R de gran tamaño para cada fila de entrada, cada una de la misma forma. Me gustaría escribir estos marcos de datos como archivos de parquet sin 'recopilarlos'. ¿Puedo asignar ...
Columnas duplicadas en Spark Dataframe
Tengo un archivo csv de 10GB en clúster hadoop con columnas duplicadas. Intento analizarlo en SparkR, así que usospark-csv paquete para analizarlo comoDataFrame: df <- read.df( sqlContext, FILE_PATH, source = "com.databricks.spark.csv", header = ...
Cargando com.databricks.spark.csv a través de RStudio
He instalado Spark-1.4.0. También he instalado su paquete R SparkR y puedo usarlo a través de Spark-shell y a través de RStudio, sin embargo, hay una diferencia que no puedo resolver. Al iniciar el SparkR-shell ./bin/sparkR --master local[7] ...
¿Debo preinstalar paquetes cran r en nodos de trabajo cuando uso sparkr
Quiero usar paquetes r en cran comoforecast etc con sparkr y cumplir después de dos problemas. ¿Debo preinstalar todos esos paquetes en los nodos de trabajo? Pero cuando leo el código fuente de chispaEste ...
Página 1 de 2