Resultados da pesquisa a pedido "sparkr"
Como usar o Jupyter + SparkR e a instalação R personalizada
Estou usando uma imagem Dockerized e um notebook Jupyter junto com o kernel SparkR. Quando crio um notebook SparkR, ele usa uma instalação do Microsoft R (3.3.2) em vez da instalação vanilla CRAN R (3.2.3). A imagem do Docker que estou usando ...
Sparklyr: como centralizar uma tabela Spark com base na coluna?
Eu tenho uma tabela Spark: simx x0: num 1.00 2.00 3.00 ... x1: num 2.00 3.00 4.00 ... ... x788: num 2.00 3.00 4.00 ...e um identificador chamadosimX_tbl no ambiente R que está conectado a estesimx mesa. Eu quero fazer uma centralização para ...
SparkR vs sparklyr [fechado]
Alguém tem uma visão geral em relação às vantagens / desvantagens do SparkR vs sparklyr? O Google não produz resultados satisfatórios e ambos parecem bastante semelhantes. Tentando as duas coisas, o SparkR parece muito mais complicado, enquanto o ...
SparkR do Rstudio - fornece erro em invokeJava (isStatic = TRUE, className, methodName,…):
Estou usando o RStudio. Depois de criar a sessão, se eu tentar criar o dataframe usando dados R, ele dá erro. Sys.setenv(SPARK_HOME = "E:/spark-2.0.0-bin-hadoop2.7/spark-2.0.0-bin-hadoop2.7") Sys.setenv(HADOOP_HOME = "E:/winutils") ...
Como desnaturar dados com o SparkR?
UsandoSparkR como matrizes aninhadas podem ser "explodidas"? Eu tentei usarexplode igual a: dat <- nested_spark_df %>% mutate(a=explode(metadata)) %>% head()mas, embora o acima não cause uma exceção, ele não promove os campos aninhados ...
sparkR 1.6: Como prever probabilidade ao modelar com glm (família binomial)
Acabei de instalar o sparkR 1.6.1 no CentOS e não estou usando o hadoop. Meu código para modelar dados com valores discretos 'TARGET' é o seguinte: # 'tr' is a R data frame with 104 numeric columns and one TARGET column # TARGET column is either ...
Adicionar coluna ao DataFrame no sparkR
Eu gostaria de adicionar uma coluna preenchida com um caractereN em um DataFrame no SparkR. Eu faria assim com código não SparkR: df$new_column <- "N"Mas com o SparkR, recebo o seguinte erro: Error: class(value) == "Column" || is.null(value) is ...
devo pré-instalar pacotes cran r nos nós de trabalho ao usar o sparkr
Eu quero usar pacotes r no cran, comoforecast etc com sparkr e encontre dois problemas a seguir. Devo pré-instalar todos esses pacotes nos nós de trabalho? Mas quando eu li o código fonte do sparkeste ...
Sparkr escreve DF como arquivo csv / txt
Oi, eu estou trabalhando no sparkR no modo fio. Preciso escrever um sparkr df em um arquivo csv / txt. Eu vi que temwrite.df mas escreve arquivos em parquet. Eu tentei fazer isso RdataFrame<-collect(SparkRDF) write.table(RdataFrame, ..)Mas eu ...
Tempo de espera de 100 minutos do trabalho do SparkR
Eu escrevi um script sparkR um pouco complexo e o execute usando o envio de spark. O que o script basicamente faz é ler uma grande tabela de colméia / impala com base em parquet, linha por linha, e gerar um novo arquivo com o mesmo número de ...
Página 1 do 2