Resultados da pesquisa a pedido "sparklyr"
Sparklyr: como explodir uma coluna da lista em suas próprias colunas na tabela Spark?
Minha pergunta é semelhante à daaqui [https://stackoverflow.com/q/41810015/7913448], mas estou tendo problemas para implementar a resposta e não posso comentar nesse segmento. Portanto, eu tenho um grande arquivo CSV que contém dados aninhados, ...
Sparklyr: como centralizar uma tabela Spark com base na coluna?
Eu tenho uma tabela Spark: simx x0: num 1.00 2.00 3.00 ... x1: num 2.00 3.00 4.00 ... ... x788: num 2.00 3.00 4.00 ...e um identificador chamadosimX_tbl no ambiente R que está conectado a estesimx mesa. Eu quero fazer uma centralização para ...
sparklyr grava dados em hdfs ou hive
Tentei usar o sparklyr para gravar dados em hdfs ou hive, mas não consegui encontrar uma maneira. É possível escrever um dataframe R em hdfs ou hive usando o sparklyr? Observe que meu R e hadoop estão sendo executados em dois ...
Sparklyr: use group_by e concatene seqüências de caracteres de linhas em um grupo
Eu estou tentando usar as funções group_by () e mutate () no sparklyr para concatenar linhas em um grupo. Aqui está um exemplo simples que acho que deve funcionar, mas não funciona: library(sparkylr) d <- data.frame(id=c("1", "1", "2", "2", ...
Como filtrar na correspondência parcial usando o sparklyr
Eu sou novo no sparklyr (mas familiarizado com o spark e o pyspark) e tenho uma pergunta realmente básica. Estou tentando filtrar uma coluna com base em uma correspondência parcial. No dplyr, eu escreveria minha operação da ...
Calcular com eficiência o total de linhas de um amplo Spark DF
Eu tenho um amplo quadro de dados de faísca de alguns milhares de colunas em cerca de um milhão de linhas, para o qual gostaria de calcular o total de linhas. Minha solução até agora está abaixo. Eu usei:dplyr - soma de várias colunas usando ...
R: Como posso extrair um elemento de uma coluna de dados na conexão spark (sparklyr) no pipe
Eu tenho um conjunto de dados como abaixo. Devido à grande quantidade de dados, enviei-os através dosparklyr pacote, para que eu possa usar apenas instruções de pipe. pos <- str_sub(csj$helpful,2) neg1 <- str_sub(csj$helpful,4) csj <- csj ...
conte o número de elementos únicos em cada coluna com dplyr no sparklyr
Estou tentando contar o número de elementos exclusivos em cada coluna nos conjuntos de dados do spark s. No entanto, parece que a faísca não reconhece ...
como converter um carimbo de data / hora em string (sem alterar o fuso horário)?
Tenho algumas vezes unix que converto em timestamps emsparklyr e por alguns motivos, também preciso convertê-los em strings. Infelizmente, parece que durante a conversão em stringhive converte para EST (minha localidade). df_new <- ...
Como nivelar os dados de diferentes tipos de dados usando o pacote Sparklyr?
Introdução O código R é gravado usando o pacote Sparklyr para criar o esquema do banco de dados.[Código e banco de dados reproduzíveis são fornecidos] Resultado Existente root |-- contributors : string |-- created_at : string |-- entities ...
Página 2 do 2