Resultados da pesquisa a pedido "dataframe"
Convertendo várias colunas diferentes na coluna Mapear com o Spark Dataframe scala
Eu tenho um quadro de dados com coluna:user, address1, address2, address3, phone1, phone2 e assim por diante. Quero converter esse quadro de dados em -user, address, phone where address = Map("address1" -> address1.value, "address2" -> ...
Como encontrar o número de IDs exclusivos correspondentes a cada data em um drame de dados
Eu tenho um quadro de dados que se parece com isso: date time id datetime 1 2015-01-02 14:27:22.130 999000000007628 2015-01-02 14:27:22 2 2015-01-02 14:41:27.720 989001002807730 2015-01-02 14:41:27 3 2015-01-02 14:41:27.940 989001002807730 ...
Python: obtenha uma contagem de frequência com base em duas colunas (variáveis) no quadro de dados do pandas, alguns aplicadores de linha
Olá Eu tenho o seguinte quadro de dados. Group Size Short Small Short Small Moderate Medium Moderate Small Tall Large Quero contar a frequência de quantas vezes a mesma linha aparece no quadro de dados. Group Size Time Short Small 2 Moderate ...
Em R, como você faz um loop pelas linhas de um quadro de dados muito rápido?
Suponha que você tenha um quadro de dados com muitas linhas e muitas colunas. As colunas têm nomes. Você deseja acessar linhas por número e colunas por nome. Por exemplo, uma maneira (possivelmente lenta) de percorrer as linhas é for (i in ...
Substituir valores nulos no Spark DataFrame
Eu vi uma solução aqui, mas quando tentei, não funcionou para mim. Primeiro importo um arquivo cars.csv: val df = sqlContext.read .format("com.databricks.spark.csv") .option("header", "true") .load("/usr/local/spark/cars.csv")Que se parece com ...
Como o Spark DataFrame lida com o Pandas DataFrame que é maior que a memória
Estou aprendendo o Spark agora e parece ser a solução de big data para o Pandas Dataframe, mas tenho essa pergunta que me deixa insegura. Atualmente, estou armazenando quadros de dados do Pandas maiores que a memória usando o HDF5. O HDF5 é uma ...
R: converter dados XML em quadro de dados
Para uma tarefa de lição de casa, estou tentando converter um arquivo XML em um quadro de dados em R. Tentei muitas coisas diferentes e procurei idéias na internet, mas não obtive êxito. Aqui esta o meu codigo ate agora: library(XML) url <- ...
O que R pode fazer sobre um formato de dados confuso?
Às vezes, vejo dados postados em uma pergunta de estouro de pilha formatada como emessa questão [https://stackoverflow.com/questions/52023433/count-number-of-times-a-factor-appears-during-rolling-window] . Esta não é a primeira vez, por isso ...
R: colunas agregadas de um data.frame
Eu tenho um data.frame que se parece com isso > head(df) Memory Memory Memory Memory Memory Naive Naive 10472501 6.075714 5.898929 6.644946 6.023901 6.332126 8.087944 7.520194 10509163 6.168941 6.495393 5.951124 6.052527 6.404401 7.152890 ...
como criar dataframe 1 por n de séries em pandas?
Eu tenho um grande quadro de dados e o indexo da seguinte forma: df.ix[<integer>] Dependendo do índice, às vezes isso terá apenas uma linha de valores. O Pandas converte isso automaticamente em uma série, o que, francamente, é irritante porque ...