Resultados da pesquisa a pedido "dataframe"
Atualize o DataFrame do pandas com .str.replace () vs .replace ()
Eu tenho uma coluna no meu Dataframe pandas df que contém uma string com alguns NULLs codificados em hexadecimal (\ x00). Pelo menos eu acho que é isso. Quando tentei substituí-los por: df['SOPInstanceUID'] = df['SOPInstanceUID'].replace('\x00', ...
Como gravar dados no Redshift resultantes de um quadro de dados criado em Python?
Eu tenho um quadro de dados em Python. Posso gravar esses dados no Redshift como uma nova tabela? Eu criei com sucesso uma conexão db com o Redshift e sou capaz de executar consultas SQL simples. Agora preciso escrever um quadro de dados.
obter o primeiro e o último valores em um groupby
Eu tenho um quadro de dadosdf df = pd.DataFrame(np.arange(20).reshape(10, -1), [['a', 'a', 'a', 'a', 'b', 'b', 'b', 'c', 'c', 'd'], ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j']], ['X', 'Y'])Como obtenho a primeira e a última linha, ...
Python: Adicionando horas ao carimbo de data / hora do panda
Eu li um arquivo csv no pandas dataframedf e recebo o seguinte: df.columns Index([u'TDate', u'Hour', u'SPP'], dtype='object') >>> type(df['TDate'][0]) <class 'pandas.tslib.Timestamp'> type(df['Hour'][0]) <type 'numpy.int64'> >>> ...
Converta a coluna de dataframe do pandas da cadeia hexadecimal para int
Eu tenho um dataframe muito grande que eu gostaria de evitar a iteração em todas as linhas e quero converter a coluna inteira da string hexadecimal para int. Ele não processa a sequência corretamente com astype, mas não tem problemas com ...
Crie um quadro de dados no pyspark que contenha uma única coluna de tuplas
Eu tenho um RDD que contém o seguinte [('coluna 1', valor), ('coluna 2', valor), ('coluna 3', valor), ..., ('coluna 100', valor)]. Quero criar um quadro de dados que contenha uma única coluna com tuplas. O mais próximo que cheguei é: schema = ...
Reordenar Dataframe com base no vetor de caracteres
Eu acho que isso deve ser muito simples, mas não consigo encontrar uma maneira de fazer isso. Quero reordenar um quadro de dados com base em um fator. Todas as respostas que posso encontrar até agora fornecem uma classificação lógica, mas isso ...
como converter json string para dataframe no spark
Eu quero converter variável de string abaixo para dataframe no spark. val jsonStr = "{ "metadata": { "key": 84896, "value": 54 }}"Eu sei como criar dataframe a partir do arquivo json. sqlContext.read.json("file.json")mas não sei como criar ...
Plotando a coluna Dataframe - datetime
Eu tenho uma coluna datetime com incrementos bastante aleatórios de tempo, o formato é: time 2016-07-08 11:29:30 2016-07-08 11:30:02Agora eu o converto em datetime: df['time2'] = pd.to_datetime(df['time'])Então eu quero plotá-lo ...
Spark UDF SQL com parâmetro de entrada complexo
Estou tentando usar UDF com o tipo de entrada Array of struct. Eu tenho a seguinte estrutura de dados, isso é apenas parte relevante de uma estrutura maior |--investments: array (nullable = true) | |-- element: struct (containsNull = true) | | ...