Resultados da pesquisa a pedido "sparklyr"
Como usar um predicado durante a leitura da conexão JDBC?
Por padrão,spark_read_jdbc() lê uma tabela inteira do banco de dados no Spark. Eu usei a seguinte sintaxe para criar essas conexões. library(sparklyr) library(dplyr) config <- spark_config() config$`sparklyr.shell.driver-class-path` ...
Tabela de acesso em outro esquema que não o padrão (banco de dados) do sparklyr
Depois que eu consegui conectar ao nosso (novo) cluster usandosparklyr comyarn-client método, agora eu posso mostrar apenas as tabelas do esquema padrão. Como posso me conectar ascheme.table? UsandoDBI está funcionando, por exemplo com a seguinte ...
SparkR vs sparklyr [fechado]
Alguém tem uma visão geral em relação às vantagens / desvantagens do SparkR vs sparklyr? O Google não produz resultados satisfatórios e ambos parecem bastante semelhantes. Tentando as duas coisas, o SparkR parece muito mais complicado, enquanto o ...
Sparklyr - Alterar nomes de colunas em um dataframe Spark
df <- data.frame(old1 = LETTERS, old2 = 1) df_tbl <- copy_to(sc,df,"df") df_tbl <- df_tbl %>% dplyr::rename(old1 = new1, old2 = new2)retorna: > head(df_tbl) Error: `new1`, `new2` contains unknown variablesExiste uma maneira fácil de alterar os ...
R: Como posso extrair um elemento de uma coluna de dados na conexão spark (sparklyr) no pipe
Eu tenho um conjunto de dados como abaixo. Devido à grande quantidade de dados, enviei-os através dosparklyr pacote, para que eu possa usar apenas instruções de pipe. pos <- str_sub(csj$helpful,2) neg1 <- str_sub(csj$helpful,4) csj <- csj ...
como converter um carimbo de data / hora em string (sem alterar o fuso horário)?
Tenho algumas vezes unix que converto em timestamps emsparklyr e por alguns motivos, também preciso convertê-los em strings. Infelizmente, parece que durante a conversão em stringhive converte para EST (minha localidade). df_new <- ...
conte o número de elementos únicos em cada coluna com dplyr no sparklyr
Estou tentando contar o número de elementos exclusivos em cada coluna nos conjuntos de dados do spark s. No entanto, parece que a faísca não reconhece ...
Sparklyr: use group_by e concatene seqüências de caracteres de linhas em um grupo
Eu estou tentando usar as funções group_by () e mutate () no sparklyr para concatenar linhas em um grupo. Aqui está um exemplo simples que acho que deve funcionar, mas não funciona: library(sparkylr) d <- data.frame(id=c("1", "1", "2", "2", ...
Como nivelar os dados de diferentes tipos de dados usando o pacote Sparklyr?
Introdução O código R é gravado usando o pacote Sparklyr para criar o esquema do banco de dados.[Código e banco de dados reproduzíveis são fornecidos] Resultado Existente root |-- contributors : string |-- created_at : string |-- entities ...
Sparklyr: como centralizar uma tabela Spark com base na coluna?
Eu tenho uma tabela Spark: simx x0: num 1.00 2.00 3.00 ... x1: num 2.00 3.00 4.00 ... ... x788: num 2.00 3.00 4.00 ...e um identificador chamadosimX_tbl no ambiente R que está conectado a estesimx mesa. Eu quero fazer uma centralização para ...
Página 1 do 2