Resultados da pesquisa a pedido "pyspark-sql"
Erro no Pipeline do Spark
Estou tentando executar um modelo de regressão logística multinomial from pyspark.sql import SparkSession spark = SparkSession.builder.appName('prepare_data').getOrCreate() from pyspark.sql.types import * spark.sql("DROP TABLE IF EXISTS ...
Como dinamizar em várias colunas no Spark SQL?
Eu preciso dinamizar mais de uma coluna em um dataframe pyspark. Dataframe de amostra, >>> d ...
Problemas com a função Rodada Pyspark
Tendo problemas para obter a função round em pyspar, k para funcionar - eu tenho o bloco de código abaixo, onde estou tentando arredondar onew_bid coluna com 2 casas decimais e renomeie a coluna comobid depois - ...
Spark - Janela com recursão? - Propagar valores condicionalmente pelas linhas
Eu tenho o seguinte quadro de dados mostrando a receita das compras. +-------+--------+-------+ |user_id|visit_id|revenue| +-------+--------+-------+ | 1| 1| 0| | 1| 2| 0| | 1| 3| 0| | 1| 4| 100| | 1| 5| 0| | 1| 6| 0| | 1| 7| 200| | 1| 8| 0| | ...
função pyspark approxQuantile
Eu tenho dataframe com essas colunasid, price, timestamp. Gostaria de encontrar o valor mediano agrupado porid. Estou usando esse código para encontrá-lo, mas está me dando esse erro. from pyspark.sql import DataFrameStatFunctions as statFunc ...
pyspark show dataframe como tabela com rolagem horizontal no notebook ipython
a pyspark.sql.DataFrame exibe bagunçado comDataFrame.show() - linhas quebradas em vez de um pergaminho. [/imgs/RQ4Ox.png] mas é exibido compandas.DataFrame.head [/imgs/s09mz.png] Eu tentei essas opções import IPython ...
PySpark - obtém o número da linha para cada linha em um grupo
Usando o pyspark, eu gostaria de poder agrupar um quadro de dados spark, classificar o grupo e fornecer um número de linha. assim Group Date A 2000 A 2002 A 2007 B 1999 B 2015Se tornaria Group Date row_num A 2000 0 A 2002 1 A 2007 2 B 1999 0 B ...
Coluna Spark Dataframe com o último caractere de outra coluna
Estou procurando uma maneira de obter o último caractere de uma seqüência de caracteres em uma coluna de quadro de dados e colocá-lo em outra coluna. Eu tenho um dataframe Spark que se parece com isso: animal ====== cat mouse snakeEu quero algo ...
Cadeia de conversão do Spark SQL para carimbo de data e hora
Eu sou novo no Spark SQL e estou tentando converter uma string em um carimbo de data / hora em um quadro de dados do spark. Eu tenho uma string que parece'2017-08-01T02:26:59.000Z' em uma coluna chamada time_string Meu código para converter essa ...
Lista ao DataFrame no pyspark
Alguém pode me dizer como converter uma lista contendo seqüências de caracteres em um Dataframe no pyspark. Estou usando o python 3.6 com spark 2.2.1. Acabei de começar a aprender o ambiente spark e meus dados se parecem ...