Resultados da pesquisa a pedido "sparkr"
Como lidar com entradas nulas no SparkR
Eu tenho um SparkSQL DataFrame. Algumas entradas nesses dados estão vazias, mas não se comportam como NULL ou NA. Como eu poderia removê-los? Alguma ideia? No R eu posso removê-los facilmente, mas no sparkR diz-se que há um problema com o ...
Erro SparkR no sparkR.init (master = “local”) no RStudio
Eu instalei o pacote SparkR da distribuição Spark na biblioteca R. Eu posso chamar o seguinte comando e parece funcionar corretamente:library(SparkR) No entanto, quando tento obter o contexto do Spark usando o código a seguir, sc <- ...
devo pré-instalar pacotes cran r nos nós de trabalho ao usar o sparkr
Eu quero usar pacotes r no cran, comoforecast etc com sparkr e encontre dois problemas a seguir. Devo pré-instalar todos esses pacotes nos nós de trabalho? Mas quando eu li o código fonte do sparkeste ...
Erro SparkR collect () e head () para Spark DataFrame: argumentos implicam número diferente de linhas
Eu li um arquivo em parquet do sistema HDFS: path<-"hdfs://part_2015" AppDF <- parquetFile(sqlContext, path) printSchema(AppDF) root |-- app: binary (nullable = true) |-- category: binary (nullable = true) |-- date: binary (nullable = true) |-- ...
Tempo de espera de 100 minutos do trabalho do SparkR
Eu escrevi um script sparkR um pouco complexo e o execute usando o envio de spark. O que o script basicamente faz é ler uma grande tabela de colméia / impala com base em parquet, linha por linha, e gerar um novo arquivo com o mesmo número de ...
SparkR do Rstudio - fornece erro em invokeJava (isStatic = TRUE, className, methodName,…):
Estou usando o RStudio. Depois de criar a sessão, se eu tentar criar o dataframe usando dados R, ele dá erro. Sys.setenv(SPARK_HOME = "E:/spark-2.0.0-bin-hadoop2.7/spark-2.0.0-bin-hadoop2.7") Sys.setenv(HADOOP_HOME = "E:/winutils") ...
Gravando quadros de dados R retornados do SparkR ::: map
Estou usando o mapa SparkR ::: e minha função retorna um quadro de dados R grande para cada linha de entrada, cada uma da mesma forma. Gostaria de escrever esses quadros de dados como arquivos em parquet sem 'colecioná-los'. Posso mapear write.df ...
SparkR mostra caracteres chineses errados
Eu sou novo no SparkR, hoje em dia encontrei um problema que, após converter um arquivo que continha caracteres chineses em SparkR, ele não era mais exibido corretamente. Como isso: city=c("北京","上海","杭州") A <- as.data.frame(city) A city 1 北京 2 ...
Sparkr escreve DF como arquivo csv / txt
Oi, eu estou trabalhando no sparkR no modo fio. Preciso escrever um sparkr df em um arquivo csv / txt. Eu vi que temwrite.df mas escreve arquivos em parquet. Eu tentei fazer isso RdataFrame<-collect(SparkRDF) write.table(RdataFrame, ..)Mas eu ...
Colunas duplicadas no Spark Dataframe
Eu tenho um arquivo csv de 10 GB no cluster hadoop com colunas duplicadas. Eu tento analisá-lo no SparkR para usarspark-csv pacote para analisá-lo comoDataFrame: df <- read.df( sqlContext, FILE_PATH, source = "com.databricks.spark.csv", header = ...
Página 1 do 2