аюсь подсчитать количество уникальных элементов в каждом столбце в наборе данных искры.

Однако кажется, что искра не распознает тали ()k<-collect(s%>%group_by(grouping_type)%>%summarise_each(funs(tally(distinct(.))))) Error: org.apache.spark.sql.AnalysisException: undefined function TALLY

Кажется, что spark не распознает и простые r-функции, такие как «unique» или «length». Я могу запустить код для локальных данных, но когда я пытаюсь запустить точно такой же код для таблицы spark, он не работает.

`` `

d<-data.frame(cbind(seq(1,10,1),rep(1,10)))
d$group<-rep(c("a","b"),each=5)
d%>%group_by(group)%>%summarise_each(funs(length(unique(.))))
A tibble: 2 × 3
  group    X1    X2
  <chr> <int> <int>
1     a     5     1
2     b     5     1
k<-collect(s%>%group_by(grouping_type)%>%summarise_each(funs(length(unique(.)))))
Error: org.apache.spark.sql.AnalysisException: undefined function UNIQUE;

`` `