Resultados da pesquisa a pedido "sparkr"
Instalação do SparkR
Eu tenho a última versão do R - 3.2.1. Agora eu quero instalar o SparkR no R. Depois de executar: > install.packages("SparkR")Eu voltei: Installing package into ‘/home/user/R/x86_64-pc-linux-gnu-library/3.2’ (as ‘lib’ is unspecified) Warning in ...
Erro SparkR no sparkR.init (master = “local”) no RStudio
Eu instalei o pacote SparkR da distribuição Spark na biblioteca R. Eu posso chamar o seguinte comando e parece funcionar corretamente:library(SparkR) No entanto, quando tento obter o contexto do Spark usando o código a seguir, sc <- ...
Carregando com.databricks.spark.csv via RStudio
Eu instalei o Spark-1.4.0. Também instalei o pacote R SparkR e posso usá-lo via Spark-shell e via RStudio; no entanto, há uma diferença que não consigo resolver. Ao iniciar o shell SparkR ./bin/sparkR --master local[7] --packages ...
Gravando quadros de dados R retornados do SparkR ::: map
Estou usando o mapa SparkR ::: e minha função retorna um quadro de dados R grande para cada linha de entrada, cada uma da mesma forma. Gostaria de escrever esses quadros de dados como arquivos em parquet sem 'colecioná-los'. Posso mapear write.df ...
Tempo de espera de 100 minutos do trabalho do SparkR
Eu escrevi um script sparkR um pouco complexo e o execute usando o envio de spark. O que o script basicamente faz é ler uma grande tabela de colméia / impala com base em parquet, linha por linha, e gerar um novo arquivo com o mesmo número de ...
Erro SparkR collect () e head () para Spark DataFrame: argumentos implicam número diferente de linhas
Eu li um arquivo em parquet do sistema HDFS: path<-"hdfs://part_2015" AppDF <- parquetFile(sqlContext, path) printSchema(AppDF) root |-- app: binary (nullable = true) |-- category: binary (nullable = true) |-- date: binary (nullable = true) |-- ...
SparkR: split-apply-combine no estilo dplyr no DataFrame
Sob o paradigma RDD anterior, eu poderia especificar uma chave e, em seguida, mapear uma operação para os elementos RDD correspondentes a cada chave. Não vejo uma maneira clara de fazer isso com o DataFrame no SparkR a partir da 1.5.1. O que eu ...
Como usar o Jupyter + SparkR e a instalação R personalizada
Estou usando uma imagem Dockerized e um notebook Jupyter junto com o kernel SparkR. Quando crio um notebook SparkR, ele usa uma instalação do Microsoft R (3.3.2) em vez da instalação vanilla CRAN R (3.2.3). A imagem do Docker que estou usando ...
SparkR vs sparklyr [fechado]
Alguém tem uma visão geral em relação às vantagens / desvantagens do SparkR vs sparklyr? O Google não produz resultados satisfatórios e ambos parecem bastante semelhantes. Tentando as duas coisas, o SparkR parece muito mais complicado, enquanto o ...
sparkR 1.6: Como prever probabilidade ao modelar com glm (família binomial)
Acabei de instalar o sparkR 1.6.1 no CentOS e não estou usando o hadoop. Meu código para modelar dados com valores discretos 'TARGET' é o seguinte: # 'tr' is a R data frame with 104 numeric columns and one TARGET column # TARGET column is either ...
Página 1 do 2