Resultados da pesquisa a pedido "dask"
por que o ponto é mais lento do que em numpy?
um produto de ponto no dask parece correr muito mais devagar do que no numpy: import numpy as np x_np = np.random.normal(10, 0.1, size=(1000,100)) y_np = x_np.transpose() %timeit x_np.dot(y_np) # 100 loops, best of 3: 7.17 ms per loop import ...
Python Dask - concatenação vertical de 2 DataFrames
Eu tenho o seguinte Dask DataFrame em Python: A B C D E F 0 1 4 8 1 3 5 1 6 6 2 2 0 0 2 9 4 5 0 6 35 3 0 1 7 10 9 4 4 0 7 2 6 1 2Estou tentando concatenar 2 Dask DataFrames verticalmente: ddf_i = ddf + 11.5 dd.concat([ddf,ddf_i],axis=0)mas eu ...
fora do núcleo da imagem 4D tif de armazenamento como hdf5 python
Eu tenho 27 GB de arquivos tiff 2D que representam fatias de um filme de imagens 3D. Eu quero ser capaz de dividir esses dados como se fosse uma matriz numpy4d simples. Parece que o dask.array é uma boa ferramenta para manipular de maneira limpa ...
dask dataframe como converter a coluna em to_datetime
Estou tentando converter uma coluna do meu dataframe em data e hora. Após a discussão aquihttps://github.com/dask/dask/issues/863 [https://github.com/dask/dask/issues/863]Eu tentei o seguinte código: import dask.dataframe as dd ...
valor da chave @duplicate viola a restrição exclusiva - erro do postgres ao tentar criar tabela sql a partir do dask dataframe
Seguindo deist [https://stackoverflow.com/questions/54344793/create-sql-table-from-dask-dataframe-using-map-partitions-and-pd-df-to-sql] que, stion, quando tento criar uma tabela postgresql a partir de um dask.dataframe com mais de uma ...
Dask equivalente a Pandas substituir?
Algo que uso regularmente em pandas é a operação .replace. Estou com dificuldades para ver como é possível executar prontamente essa mesma operação em um dataframe dask? df.replace('PASS', '0', inplace=True) df.replace('FAIL', '1', inplace=True)
Gravando partições do Dask em um único arquivo
Novodask,Eu tenho um1GB Arquivo CSV quando o li emdask O dataframe cria cerca de 50 partições após minhas alterações no arquivo quando escrevo, cria tantos arquivos quanto partições. Existe uma maneira de gravar todas as partições em um único ...
Como faço para interromper uma tarefa em execução no Dask?
Ao usar o agendador distribuído do Dask, tenho uma tarefa em execução em um trabalhador remoto que desejo interromper. Como eu paro isso? Eu sei sobre o método cancel, mas isso não parece funcionar se a tarefa já começou a executar.
Função len lenta no quadro de dados distribuído dask
Eu tenho testado como usar o dask (cluster com 20 núcleos) e estou surpreso com a velocidade que recebo ao chamar uma função len vs cortar através de loc. import dask.dataframe as dd from dask.distributed import Client client ...
Fluxo de ar + aipo ou dask. Para que quando?
Eu li na documentação oficial do AirflowOs seguintes [https://airflow.apache.org/configuration.html#scaling-out-with-celery]: [/imgs/BeHip.png] o que isso significa, exatamente? O que os autores querem dizer com escalar? Isso é,quandoé ...
Página 1 do 2