Resultados da pesquisa a pedido "window-functions"
Recuperar o último valor conhecido para cada coluna de uma linha
Não tenho certeza sobre as palavras corretas para fazer essa pergunta, então vou dividi-la.Eu tenho uma tabela da seguinte forma:
Funções da janela Spark requer HiveContext?
Eu estou tentando um exemplo de função de janela na faísca deste ...
Como agregar janela de tempo de rolagem com grupos no Spark
Tenho alguns dados que quero agrupar por uma determinada coluna e agregar uma série de campos com base em uma janela de tempo de rolagem do grupo. Aqui estão alguns dados de exemplo: df = spark.createDataFrame([Row(date='2016-01-01', ...
Função da janela Spark SQL com condição complexa
Provavelmente é mais fácil explicar através do exemplo. Suponha que eu tenha um DataFrame de logins de usuário em um site, por exemplo: scala> df.show(5) +----------------+----------+ | user_name|login_date| +----------------+----------+ ...
Funções da janela: last_value (ORDER BY… ASC) igual a last_value (ORDER BY… DESC)
Dados de amostra CREATE TABLE test (id integer, session_ID integer, value integer) ; INSERT INTO test (id, session_ID, value) VALUES (0, 2, 100), (1, 2, 120), (2, 2, 140), (3, 1, 900), (4, 1, 800), (5, 1, 500) ;Consulta atual select id, ...
Função condicional de avanço / atraso do PostgreSQL?
Eu tenho uma tabela como esta: Name activity time user1 A1 12:00 user1 E3 12:01 user1 A2 12:02 user2 A1 10:05 user2 A2 10:06 user2 A3 10:07 user2 M6 10:07 user2 B1 10:08 user3 A1 14:15 user3 B2 14:20 user3 D1 14:25 user3 D2 14:30Agora, preciso ...
Spark - Janela com recursão? - Propagar valores condicionalmente pelas linhas
Eu tenho o seguinte quadro de dados mostrando a receita das compras. +-------+--------+-------+ |user_id|visit_id|revenue| +-------+--------+-------+ | 1| 1| 0| | 1| 2| 0| | 1| 3| 0| | 1| 4| 100| | 1| 5| 0| | 1| 6| 0| | 1| 7| 200| | 1| 8| 0| | ...
Função definida pelo usuário a ser aplicada à janela no PySpark?
Estou tentando aplicar uma função definida pelo usuário para Window no PySpark. Eu li que o UDAF pode ser o caminho a seguir, mas não consegui encontrar nada concreto. Para dar um exemplo (extraído daqui:Blog de tecnologia de ...
pyspark: contagem distinta em uma janela
Eu apenas tentei fazer um countDistinct em uma janela e recebi este erro: AnalysisException: u'Distinct window functions are not supported: count(distinct color#1926)Existe uma maneira de fazer uma contagem distinta em uma janela ...
lag para obter o primeiro valor não nulo desde o valor nulo anterior
Abaixo está um exemplo do que estou tentando obter em um banco de dados Redshift. Eu tenho uma variávelcurrent_value e eu quero criar uma nova colunavalue_desired isso é: o mesmo quecurrent_value se a linha anterior for nulaigual ao último ...