ft_regex_tokenizer разделит столбец на векторный тип на основе регулярного выражения. sdf_separate_column разделит это на несколько столбцов.

я есть датафрейм, содержащий столбец с именемCOL который структурирован таким образом:

VALUE1 ### VALUE2

Следующий код работает

library(sparklyr)
library(tidyr)
library(dplyr)
mParams<- collect(filter(input_DF, TYPE == ('MIN')))
mParams<- separate(mParams, COL, c('col1','col2'), '\\###', remove=FALSE)

Если я удалюcollectЯ получаю эту ошибку:

Error in UseMethod("separate_") : 
  no applicable method for 'separate_' applied to an object of class "c('tbl_spark', 'tbl_sql', 'tbl_lazy', 'tbl')"

Есть ли альтернатива для достижения того, чего я хочу, но не собирая все на моем искровом драйвере?

Ответы на вопрос(2)

Ваш ответ на вопрос