SparklyR separa una columna Spark DataFrame en dos columnas
Tengo un marco de datos que contiene una columna llamadaCOLUMNA que se estructura de esta manera:
VALOR1 ### VALOR2
El siguiente código está funcionando
library(sparklyr)
library(tidyr)
library(dplyr)
mParams<- collect(filter(input_DF, TYPE == ('MIN')))
mParams<- separate(mParams, COL, c('col1','col2'), '\\###', remove=FALSE)
Si elimino elcollect
, Me sale este error:
Error in UseMethod("separate_") :
no applicable method for 'separate_' applied to an object of class "c('tbl_spark', 'tbl_sql', 'tbl_lazy', 'tbl')"
¿Hay alguna alternativa para lograr lo que quiero, pero sin recopilar todo en mi controlador de chispa?