Resultados de la búsqueda a petición "sparkr"
Cómo usar Jupyter + SparkR y la instalación personalizada de R
Estoy usando una imagen Dockerized y un cuaderno Jupyter junto con el núcleo SparkR. Cuando creo un portátil SparkR, utiliza una instalación de Microsoft R (3.3.2) en lugar de la instalación de CRAN R vanilla (3.2.3). La imagen de Docker que ...
Sparklyr: ¿como centrar una tabla de Spark basada en una columna?
Tengo una mesa Spark: simx x0: num 1.00 2.00 3.00 ... x1: num 2.00 3.00 4.00 ... ... x788: num 2.00 3.00 4.00 ...y un identificador llamadosimX_tbl en el entorno R que está conectado a estesimx mesa. Quiero hacer un centrado para esta tabla, ...
SparkR vs sparklyr [cerrado]
¿Alguien tiene una visión general con respecto a las ventajas / desventajas de SparkR vs sparklyr? Google no produce resultados satisfactorios y ambos parecen bastante similares. Al probar ambos, SparkR parece mucho más engorroso, mientras que ...
SparkR de Rstudio - da un error en invokeJava (isStatic = TRUE, className, methodName, ...):
Estoy usando RStudio. Después de crear la sesión, si trato de crear un marco de datos utilizando datos R, da error. Sys.setenv(SPARK_HOME = "E:/spark-2.0.0-bin-hadoop2.7/spark-2.0.0-bin-hadoop2.7") Sys.setenv(HADOOP_HOME = "E:/winutils") ...
¿Cómo deshacer datos con SparkR?
UtilizandoSparkR ¿Cómo se pueden "explotar" las matrices anidadas? He intentado usarexplode al igual que: dat <- nested_spark_df %>% mutate(a=explode(metadata)) %>% head()pero aunque lo anterior no provoca una excepción, no promueve los campos ...
sparkR 1.6: Cómo predecir la probabilidad al modelar con glm (familia binomial)
Acabo de instalar sparkR 1.6.1 en CentOS y no estoy usando hadoop. Mi código para modelar datos con valores discretos 'TARGET' es el siguiente: # 'tr' is a R data frame with 104 numeric columns and one TARGET column # TARGET column is either 0 ...
Agregar columna a DataFrame en sparkR
Me gustaría agregar una columna llena de un personajeN en un DataFrame en SparkR. Lo haría así con un código que no sea SparkR: df$new_column <- "N"Pero con SparkR, obtengo el siguiente error: Error: class(value) == "Column" || is.null(value) ...
¿Debo preinstalar paquetes cran r en nodos de trabajo cuando uso sparkr
Quiero usar paquetes r en cran comoforecast etc con sparkr y cumplir después de dos problemas. ¿Debo preinstalar todos esos paquetes en los nodos de trabajo? Pero cuando leo el código fuente de chispaEste ...
Sparkr escribe DF como archivo csv / txt
Hola, estoy trabajando en sparkR en modo hilo. Necesito escribir un sparkr df en un archivo csv / txt. Vi que haywrite.df pero escribe archivos de parquet. Traté de hacer estas cosas RdataFrame<-collect(SparkRDF) write.table(RdataFrame, ...
Trabajo SparkR 100 minutos de tiempo de espera
He escrito un script sparkR un poco complejo y lo ejecuto usando spark-submit. Lo que básicamente hace el script es leer una gran tabla basada en parqué colmena / impala fila por fila y generar un nuevo archivo de parquet que tenga el mismo ...
Página 1 de 2