Resultados da pesquisa a pedido "sparkr"
Erro SparkR collect () e head () para Spark DataFrame: argumentos implicam número diferente de linhas
Eu li um arquivo em parquet do sistema HDFS: path<-"hdfs://part_2015" AppDF <- parquetFile(sqlContext, path) printSchema(AppDF) root |-- app: binary (nullable = true) |-- category: binary (nullable = true) |-- date: binary (nullable = true) |-- ...
SparkR: split-apply-combine no estilo dplyr no DataFrame
Sob o paradigma RDD anterior, eu poderia especificar uma chave e, em seguida, mapear uma operação para os elementos RDD correspondentes a cada chave. Não vejo uma maneira clara de fazer isso com o DataFrame no SparkR a partir da 1.5.1. O que eu ...
Gravando quadros de dados R retornados do SparkR ::: map
Estou usando o mapa SparkR ::: e minha função retorna um quadro de dados R grande para cada linha de entrada, cada uma da mesma forma. Gostaria de escrever esses quadros de dados como arquivos em parquet sem 'colecioná-los'. Posso mapear write.df ...
SparkR mostra caracteres chineses errados
Eu sou novo no SparkR, hoje em dia encontrei um problema que, após converter um arquivo que continha caracteres chineses em SparkR, ele não era mais exibido corretamente. Como isso: city=c("北京","上海","杭州") A <- as.data.frame(city) A city 1 北京 2 ...
Tempo de espera de 100 minutos do trabalho do SparkR
Eu escrevi um script sparkR um pouco complexo e o execute usando o envio de spark. O que o script basicamente faz é ler uma grande tabela de colméia / impala com base em parquet, linha por linha, e gerar um novo arquivo com o mesmo número de ...
Sparkr escreve DF como arquivo csv / txt
Oi, eu estou trabalhando no sparkR no modo fio. Preciso escrever um sparkr df em um arquivo csv / txt. Eu vi que temwrite.df mas escreve arquivos em parquet. Eu tentei fazer isso RdataFrame<-collect(SparkRDF) write.table(RdataFrame, ..)Mas eu ...
sparkR 1.6: Como prever probabilidade ao modelar com glm (família binomial)
Acabei de instalar o sparkR 1.6.1 no CentOS e não estou usando o hadoop. Meu código para modelar dados com valores discretos 'TARGET' é o seguinte: # 'tr' is a R data frame with 104 numeric columns and one TARGET column # TARGET column is either ...
Sparklyr: como centralizar uma tabela Spark com base na coluna?
Eu tenho uma tabela Spark: simx x0: num 1.00 2.00 3.00 ... x1: num 2.00 3.00 4.00 ... ... x788: num 2.00 3.00 4.00 ...e um identificador chamadosimX_tbl no ambiente R que está conectado a estesimx mesa. Eu quero fazer uma centralização para ...
Como lidar com entradas nulas no SparkR
Eu tenho um SparkSQL DataFrame. Algumas entradas nesses dados estão vazias, mas não se comportam como NULL ou NA. Como eu poderia removê-los? Alguma ideia? No R eu posso removê-los facilmente, mas no sparkR diz-se que há um problema com o ...
Adicionar coluna ao DataFrame no sparkR
Eu gostaria de adicionar uma coluna preenchida com um caractereN em um DataFrame no SparkR. Eu faria assim com código não SparkR: df$new_column <- "N"Mas com o SparkR, recebo o seguinte erro: Error: class(value) == "Column" || is.null(value) is ...
Página 1 do 2