Resultados da pesquisa a pedido "sparkr"
SparkR do Rstudio - fornece erro em invokeJava (isStatic = TRUE, className, methodName,…):
Estou usando o RStudio. Depois de criar a sessão, se eu tentar criar o dataframe usando dados R, ele dá erro. Sys.setenv(SPARK_HOME = "E:/spark-2.0.0-bin-hadoop2.7/spark-2.0.0-bin-hadoop2.7") Sys.setenv(HADOOP_HOME = "E:/winutils") ...
sparkR 1.6: Como prever probabilidade ao modelar com glm (família binomial)
Acabei de instalar o sparkR 1.6.1 no CentOS e não estou usando o hadoop. Meu código para modelar dados com valores discretos 'TARGET' é o seguinte: # 'tr' is a R data frame with 104 numeric columns and one TARGET column # TARGET column is either ...
SparkR mostra caracteres chineses errados
Eu sou novo no SparkR, hoje em dia encontrei um problema que, após converter um arquivo que continha caracteres chineses em SparkR, ele não era mais exibido corretamente. Como isso: city=c("北京","上海","杭州") A <- as.data.frame(city) A city 1 北京 2 ...
devo pré-instalar pacotes cran r nos nós de trabalho ao usar o sparkr
Eu quero usar pacotes r no cran, comoforecast etc com sparkr e encontre dois problemas a seguir. Devo pré-instalar todos esses pacotes nos nós de trabalho? Mas quando eu li o código fonte do sparkeste ...
Tempo de espera de 100 minutos do trabalho do SparkR
Eu escrevi um script sparkR um pouco complexo e o execute usando o envio de spark. O que o script basicamente faz é ler uma grande tabela de colméia / impala com base em parquet, linha por linha, e gerar um novo arquivo com o mesmo número de ...
Como lidar com entradas nulas no SparkR
Eu tenho um SparkSQL DataFrame. Algumas entradas nesses dados estão vazias, mas não se comportam como NULL ou NA. Como eu poderia removê-los? Alguma ideia? No R eu posso removê-los facilmente, mas no sparkR diz-se que há um problema com o ...
Erro SparkR collect () e head () para Spark DataFrame: argumentos implicam número diferente de linhas
Eu li um arquivo em parquet do sistema HDFS: path<-"hdfs://part_2015" AppDF <- parquetFile(sqlContext, path) printSchema(AppDF) root |-- app: binary (nullable = true) |-- category: binary (nullable = true) |-- date: binary (nullable = true) |-- ...
Sparkr escreve DF como arquivo csv / txt
Oi, eu estou trabalhando no sparkR no modo fio. Preciso escrever um sparkr df em um arquivo csv / txt. Eu vi que temwrite.df mas escreve arquivos em parquet. Eu tentei fazer isso RdataFrame<-collect(SparkRDF) write.table(RdataFrame, ..)Mas eu ...
SparkR: split-apply-combine no estilo dplyr no DataFrame
Sob o paradigma RDD anterior, eu poderia especificar uma chave e, em seguida, mapear uma operação para os elementos RDD correspondentes a cada chave. Não vejo uma maneira clara de fazer isso com o DataFrame no SparkR a partir da 1.5.1. O que eu ...
Colunas duplicadas no Spark Dataframe
Eu tenho um arquivo csv de 10 GB no cluster hadoop com colunas duplicadas. Eu tento analisá-lo no SparkR para usarspark-csv pacote para analisá-lo comoDataFrame: df <- read.df( sqlContext, FILE_PATH, source = "com.databricks.spark.csv", header = ...
Página 1 do 2