Resultados da pesquisa a pedido "sparkr"
Tempo de espera de 100 minutos do trabalho do SparkR
Eu escrevi um script sparkR um pouco complexo e o execute usando o envio de spark. O que o script basicamente faz é ler uma grande tabela de colméia / impala com base em parquet, linha por linha, e gerar um novo arquivo com o mesmo número de ...
Gravando quadros de dados R retornados do SparkR ::: map
Estou usando o mapa SparkR ::: e minha função retorna um quadro de dados R grande para cada linha de entrada, cada uma da mesma forma. Gostaria de escrever esses quadros de dados como arquivos em parquet sem 'colecioná-los'. Posso mapear write.df ...
Como desnaturar dados com o SparkR?
UsandoSparkR como matrizes aninhadas podem ser "explodidas"? Eu tentei usarexplode igual a: dat <- nested_spark_df %>% mutate(a=explode(metadata)) %>% head()mas, embora o acima não cause uma exceção, ele não promove os campos aninhados ...
SparkR mostra caracteres chineses errados
Eu sou novo no SparkR, hoje em dia encontrei um problema que, após converter um arquivo que continha caracteres chineses em SparkR, ele não era mais exibido corretamente. Como isso: city=c("北京","上海","杭州") A <- as.data.frame(city) A city 1 北京 2 ...
Sparkr escreve DF como arquivo csv / txt
Oi, eu estou trabalhando no sparkR no modo fio. Preciso escrever um sparkr df em um arquivo csv / txt. Eu vi que temwrite.df mas escreve arquivos em parquet. Eu tentei fazer isso RdataFrame<-collect(SparkRDF) write.table(RdataFrame, ..)Mas eu ...
Carregando com.databricks.spark.csv via RStudio
Eu instalei o Spark-1.4.0. Também instalei o pacote R SparkR e posso usá-lo via Spark-shell e via RStudio; no entanto, há uma diferença que não consigo resolver. Ao iniciar o shell SparkR ./bin/sparkR --master local[7] --packages ...
Erro SparkR no sparkR.init (master = “local”) no RStudio
Eu instalei o pacote SparkR da distribuição Spark na biblioteca R. Eu posso chamar o seguinte comando e parece funcionar corretamente:library(SparkR) No entanto, quando tento obter o contexto do Spark usando o código a seguir, sc <- ...
Erro SparkR collect () e head () para Spark DataFrame: argumentos implicam número diferente de linhas
Eu li um arquivo em parquet do sistema HDFS: path<-"hdfs://part_2015" AppDF <- parquetFile(sqlContext, path) printSchema(AppDF) root |-- app: binary (nullable = true) |-- category: binary (nullable = true) |-- date: binary (nullable = true) |-- ...
SparkR vs sparklyr [fechado]
Alguém tem uma visão geral em relação às vantagens / desvantagens do SparkR vs sparklyr? O Google não produz resultados satisfatórios e ambos parecem bastante semelhantes. Tentando as duas coisas, o SparkR parece muito mais complicado, enquanto o ...
devo pré-instalar pacotes cran r nos nós de trabalho ao usar o sparkr
Eu quero usar pacotes r no cran, comoforecast etc com sparkr e encontre dois problemas a seguir. Devo pré-instalar todos esses pacotes nos nós de trabalho? Mas quando eu li o código fonte do sparkeste ...
Página 1 do 2