Resultados da pesquisa a pedido "sparklyr"
Como nivelar os dados de diferentes tipos de dados usando o pacote Sparklyr?
Introdução O código R é gravado usando o pacote Sparklyr para criar o esquema do banco de dados.[Código e banco de dados reproduzíveis são fornecidos] Resultado Existente root |-- contributors : string |-- created_at : string |-- entities ...
R: Como posso extrair um elemento de uma coluna de dados na conexão spark (sparklyr) no pipe
Eu tenho um conjunto de dados como abaixo. Devido à grande quantidade de dados, enviei-os através dosparklyr pacote, para que eu possa usar apenas instruções de pipe. pos <- str_sub(csj$helpful,2) neg1 <- str_sub(csj$helpful,4) csj <- csj ...
conte o número de elementos únicos em cada coluna com dplyr no sparklyr
Estou tentando contar o número de elementos exclusivos em cada coluna nos conjuntos de dados do spark s. No entanto, parece que a faísca não reconhece ...
como converter um carimbo de data / hora em string (sem alterar o fuso horário)?
Tenho algumas vezes unix que converto em timestamps emsparklyr e por alguns motivos, também preciso convertê-los em strings. Infelizmente, parece que durante a conversão em stringhive converte para EST (minha localidade). df_new <- ...
Calcular com eficiência o total de linhas de um amplo Spark DF
Eu tenho um amplo quadro de dados de faísca de alguns milhares de colunas em cerca de um milhão de linhas, para o qual gostaria de calcular o total de linhas. Minha solução até agora está abaixo. Eu usei:dplyr - soma de várias colunas usando ...
Como filtrar na correspondência parcial usando o sparklyr
Eu sou novo no sparklyr (mas familiarizado com o spark e o pyspark) e tenho uma pergunta realmente básica. Estou tentando filtrar uma coluna com base em uma correspondência parcial. No dplyr, eu escreveria minha operação da ...
Sparklyr - Alterar nomes de colunas em um dataframe Spark
df <- data.frame(old1 = LETTERS, old2 = 1) df_tbl <- copy_to(sc,df,"df") df_tbl <- df_tbl %>% dplyr::rename(old1 = new1, old2 = new2)retorna: > head(df_tbl) Error: `new1`, `new2` contains unknown variablesExiste uma maneira fácil de alterar os ...
Como usar um predicado durante a leitura da conexão JDBC?
Por padrão,spark_read_jdbc() lê uma tabela inteira do banco de dados no Spark. Eu usei a seguinte sintaxe para criar essas conexões. library(sparklyr) library(dplyr) config <- spark_config() config$`sparklyr.shell.driver-class-path` ...
sparklyr grava dados em hdfs ou hive
Tentei usar o sparklyr para gravar dados em hdfs ou hive, mas não consegui encontrar uma maneira. É possível escrever um dataframe R em hdfs ou hive usando o sparklyr? Observe que meu R e hadoop estão sendo executados em dois ...
Sparklyr: use group_by e concatene seqüências de caracteres de linhas em um grupo
Eu estou tentando usar as funções group_by () e mutate () no sparklyr para concatenar linhas em um grupo. Aqui está um exemplo simples que acho que deve funcionar, mas não funciona: library(sparkylr) d <- data.frame(id=c("1", "1", "2", "2", ...
Página 1 do 2