Resultados da pesquisa a pedido "dataframe"
PySpark convertendo uma coluna do tipo 'map' em várias colunas em um dataframe
EntradaEu tenho uma colunaParameters do tipomap do formulário: >>> from pyspark.sql import SQLContext >>> sqlContext = SQLContext(sc) >>> d = [{'Parameters': {'foo': '1', 'bar': '2', 'baz': 'aaa'}}] >>> df = sqlContext.createDataFrame(d) >>> ...
Pandas: Diferença de dois Dataframes
Preciso comparar dois quadros de dados de tamanho diferente em linhas e imprimir linhas não correspondentes. Vamos fazer os dois seguintes: df1 = DataFrame({ 'Buyer': ['Carl', 'Carl', 'Carl'], 'Quantity': [18, 3, 5, ]}) df2 = DataFrame({ ...
Como encontrar a correspondência mais próxima com base em 2 chaves de um quadro de dados para outro?
Eu tenho 2 quadros de dados com os quais estou trabalhando. Um deles tem vários locais e coordenadas (longitude, latitude). O outro é um conjunto de dados meteorológicos com dados de estações meteorológicas em todo o mundo e suas respectivas ...
O valor da verdade de uma série é ambíguo. Use a.empty, a.bool (), a.item (), a.any () ou a.all ()
Problema ao filtrar meu dataframe de resultado com umor condição. Eu quero meu resultadodf extrair toda a colunavar valores acima de 0,25 e abaixo de -0,25. Essa lógica abaixo me fornece um valor de verdade ambíguo, mas funciona quando eu divido ...
Um valor está tentando ser definido em uma cópia de uma fatia de um DataFrame
Eu tenho um período de coluna de quadro de dados que possui valores por quartos (Q1, Q2, Q3, Q4) que desejo converter em mês associado (consulte o dict). Meu código abaixo funciona, no entanto, querendo saber por que estou recebendo ...
Como substituo um valor de string por um NULL no PySpark?
Eu quero fazer algo assim: df.replace('empty-value', None, 'NAME')Basicamente, quero substituir algum valor por NULL. mas não aceita nenhum nesta função. Como posso fazer isso?
Remova as extremidades das entradas de sequência na coluna DataFrame do pandas
Eu tenho um Dataframe pandas com uma coluna uma lista de arquivos import pandas as pd df = pd.read_csv('fname.csv') df.head() filename A B C fn1.txt 2 4 5 fn2.txt 1 2 1 fn3.txt .... ....Eu gostaria de excluir a extensão do arquivo.txt de cada ...
operação panda dataframe str.contains () AND
O df (Pandas Dataframe) possui três linhas. some_col_name "apple is delicious" "banana is delicious" "apple and banana both are delicious"df.col_name.str.contains("apple|banana") vai pegar todas as linhas: "apple is delicious", "banana is ...
Qual é a maneira mais rápida de fazer upload de um grande arquivo csv no notebook para trabalhar com pandas python?
Estou tentando fazer upload de um arquivo csv, com 250 MB. Basicamente, 4 milhões de linhas e 6 colunas de dados de séries temporais (1min). O procedimento usual é: location = r'C:\Users\Name\Folder_1\Folder_2\file.csv' df ...
Como converter um RDD [Row] novamente para DataFrame [duplicate]
Esta pergunta já tem uma resposta aqui: Como converter objeto rdd em dataframe no spark [/questions/29383578/how-to-convert-rdd-object-to-dataframe-in-spark] 10 respostasEu tenho brincado com a conversão de RDDs para DataFrames e ...