аюсь использовать функции group_by () и mutate () в sparklyr для объединения строк в группе.

Вот простой пример, который, я думаю, должен работать, но не работает:

library(sparkylr)
d <- data.frame(id=c("1", "1", "2", "2", "1", "2"), 
             x=c("200", "200", "200", "201", "201", "201"), 
             y=c("This", "That", "The", "Other", "End", "End"))
d_sdf <- copy_to(sc, d, "d")
d_sdf %>% group_by(id, x) %>% mutate( y = paste(y, collapse = " "))

То, что я хотел бы произвести:

Source: local data frame [6 x 3]
Groups: id, x [4]

# A tibble: 6 x 3
      id      x         y
  <fctr> <fctr>     <chr>
1      1    200 This That
2      1    200 This That
3      2    200       The
4      2    201 Other End
5      1    201       End
6      2    201 Other End

Я получаю следующую ошибку:

Error: org.apache.spark.sql.AnalysisException: missing ) at 'AS' near '' '' in selection target; line 1 pos 42

Обратите внимание, что использование того же кода на data.frame работает нормально:

d %>% group_by(id, x) %>% mutate( y = paste(y, collapse = " "))