Resultados da pesquisa a pedido "sparkr"

2 a resposta

Como usar o Jupyter + SparkR e a instalação R personalizada

Estou usando uma imagem Dockerized e um notebook Jupyter junto com o kernel SparkR. Quando crio um notebook SparkR, ele usa uma instalação do Microsoft R (3.3.2) em vez da instalação vanilla CRAN R (3.2.3). A imagem do Docker que estou usando ...

1 a resposta

Sparklyr: como centralizar uma tabela Spark com base na coluna?

Eu tenho uma tabela Spark: simx x0: num 1.00 2.00 3.00 ... x1: num 2.00 3.00 4.00 ... ... x788: num 2.00 3.00 4.00 ...e um identificador chamadosimX_tbl no ambiente R que está conectado a estesimx mesa. Eu quero fazer uma centralização para ...

7 a resposta

SparkR vs sparklyr [fechado]

Alguém tem uma visão geral em relação às vantagens / desvantagens do SparkR vs sparklyr? O Google não produz resultados satisfatórios e ambos parecem bastante semelhantes. Tentando as duas coisas, o SparkR parece muito mais complicado, enquanto o ...

3 a resposta

SparkR do Rstudio - fornece erro em invokeJava (isStatic = TRUE, className, methodName,…):

Estou usando o RStudio. Depois de criar a sessão, se eu tentar criar o dataframe usando dados R, ele dá erro. Sys.setenv(SPARK_HOME = "E:/spark-2.0.0-bin-hadoop2.7/spark-2.0.0-bin-hadoop2.7") Sys.setenv(HADOOP_HOME = "E:/winutils") ...

2 a resposta

Como desnaturar dados com o SparkR?

UsandoSparkR como matrizes aninhadas podem ser "explodidas"? Eu tentei usarexplode igual a: dat <- nested_spark_df %>% mutate(a=explode(metadata)) %>% head()mas, embora o acima não cause uma exceção, ele não promove os campos aninhados ...

1 a resposta

sparkR 1.6: Como prever probabilidade ao modelar com glm (família binomial)

Acabei de instalar o sparkR 1.6.1 no CentOS e não estou usando o hadoop. Meu código para modelar dados com valores discretos 'TARGET' é o seguinte: # 'tr' is a R data frame with 104 numeric columns and one TARGET column # TARGET column is either ...

2 a resposta

Adicionar coluna ao DataFrame no sparkR

Eu gostaria de adicionar uma coluna preenchida com um caractereN em um DataFrame no SparkR. Eu faria assim com código não SparkR: df$new_column <- "N"Mas com o SparkR, recebo o seguinte erro: Error: class(value) == "Column" || is.null(value) is ...

3 a resposta

devo pré-instalar pacotes cran r nos nós de trabalho ao usar o sparkr

Eu quero usar pacotes r no cran, comoforecast etc com sparkr e encontre dois problemas a seguir. Devo pré-instalar todos esses pacotes nos nós de trabalho? Mas quando eu li o código fonte do sparkeste ...

1 a resposta

Sparkr escreve DF como arquivo csv / txt

Oi, eu estou trabalhando no sparkR no modo fio. Preciso escrever um sparkr df em um arquivo csv / txt. Eu vi que temwrite.df mas escreve arquivos em parquet. Eu tentei fazer isso RdataFrame<-collect(SparkRDF) write.table(RdataFrame, ..)Mas eu ...

1 a resposta

Tempo de espera de 100 minutos do trabalho do SparkR

Eu escrevi um script sparkR um pouco complexo e o execute usando o envio de spark. O que o script basicamente faz é ler uma grande tabela de colméia / impala com base em parquet, linha por linha, e gerar um novo arquivo com o mesmo número de ...