Estou tentando contar o número de elementos exclusivos em cada coluna nos conjuntos de dados do spark s.

No entanto, parece que a faísca não reconhece tally ()k<-collect(s%>%group_by(grouping_type)%>%summarise_each(funs(tally(distinct(.))))) Error: org.apache.spark.sql.AnalysisException: undefined function TALLY

Parece que a faísca também não reconhece funções r simples, como "único" ou "comprimento". Posso executar o código em dados locais, mas quando tento executar exatamente o mesmo código na tabela spark, ele não funciona.

`` ``

d<-data.frame(cbind(seq(1,10,1),rep(1,10)))
d$group<-rep(c("a","b"),each=5)
d%>%group_by(group)%>%summarise_each(funs(length(unique(.))))
A tibble: 2 × 3
  group    X1    X2
  <chr> <int> <int>
1     a     5     1
2     b     5     1
k<-collect(s%>%group_by(grouping_type)%>%summarise_each(funs(length(unique(.)))))
Error: org.apache.spark.sql.AnalysisException: undefined function UNIQUE;

`` ``