Resultados da pesquisa a pedido "sparkr"

4 a resposta

Carregando com.databricks.spark.csv via RStudio

Eu instalei o Spark-1.4.0. Também instalei o pacote R SparkR e posso usá-lo via Spark-shell e via RStudio; no entanto, há uma diferença que não consigo resolver. Ao iniciar o shell SparkR ./bin/sparkR --master local[7] --packages ...

4 a resposta

Instalação do SparkR

Eu tenho a última versão do R - 3.2.1. Agora eu quero instalar o SparkR no R. Depois de executar: > install.packages("SparkR")Eu voltei: Installing package into ‘/home/user/R/x86_64-pc-linux-gnu-library/3.2’ (as ‘lib’ is unspecified) Warning in ...

4 a resposta

Erro SparkR no sparkR.init (master = “local”) no RStudio

Eu instalei o pacote SparkR da distribuição Spark na biblioteca R. Eu posso chamar o seguinte comando e parece funcionar corretamente:library(SparkR) No entanto, quando tento obter o contexto do Spark usando o código a seguir, sc <- ...

0 a resposta

Erro SparkR collect () e head () para Spark DataFrame: argumentos implicam número diferente de linhas

Eu li um arquivo em parquet do sistema HDFS: path<-"hdfs://part_2015" AppDF <- parquetFile(sqlContext, path) printSchema(AppDF) root |-- app: binary (nullable = true) |-- category: binary (nullable = true) |-- date: binary (nullable = true) |-- ...

2 a resposta

Como lidar com entradas nulas no SparkR

Eu tenho um SparkSQL DataFrame. Algumas entradas nesses dados estão vazias, mas não se comportam como NULL ou NA. Como eu poderia removê-los? Alguma ideia? No R eu posso removê-los facilmente, mas no sparkR diz-se que há um problema com o ...

0 a resposta

SparkR: split-apply-combine no estilo dplyr no DataFrame

Sob o paradigma RDD anterior, eu poderia especificar uma chave e, em seguida, mapear uma operação para os elementos RDD correspondentes a cada chave. Não vejo uma maneira clara de fazer isso com o DataFrame no SparkR a partir da 1.5.1. O que eu ...

3 a resposta

Colunas duplicadas no Spark Dataframe

Eu tenho um arquivo csv de 10 GB no cluster hadoop com colunas duplicadas. Eu tento analisá-lo no SparkR para usarspark-csv pacote para analisá-lo comoDataFrame: df <- read.df( sqlContext, FILE_PATH, source = "com.databricks.spark.csv", header = ...

1 a resposta

Gravando quadros de dados R retornados do SparkR ::: map

Estou usando o mapa SparkR ::: e minha função retorna um quadro de dados R grande para cada linha de entrada, cada uma da mesma forma. Gostaria de escrever esses quadros de dados como arquivos em parquet sem 'colecioná-los'. Posso mapear write.df ...

1 a resposta

SparkR mostra caracteres chineses errados

Eu sou novo no SparkR, hoje em dia encontrei um problema que, após converter um arquivo que continha caracteres chineses em SparkR, ele não era mais exibido corretamente. Como isso: city=c("北京","上海","杭州") A <- as.data.frame(city) A city 1 北京 2 ...

1 a resposta

Tempo de espera de 100 minutos do trabalho do SparkR

Eu escrevi um script sparkR um pouco complexo e o execute usando o envio de spark. O que o script basicamente faz é ler uma grande tabela de colméia / impala com base em parquet, linha por linha, e gerar um novo arquivo com o mesmo número de ...