Resultados da pesquisa a pedido "dask"
fora do núcleo da imagem 4D tif de armazenamento como hdf5 python
Eu tenho 27 GB de arquivos tiff 2D que representam fatias de um filme de imagens 3D. Eu quero ser capaz de dividir esses dados como se fosse uma matriz numpy4d simples. Parece que o dask.array é uma boa ferramenta para manipular de maneira limpa ...
Como altero linhas e colunas em um quadro de dados dask?
Existem alguns problemas que estou tendo com o Dask Dataframes. digamos que eu tenho um dataframe com 2 colunas['a','b'] se eu quero uma nova colunac = a + b em pandas eu faria: df['c'] = df['a'] + df['b']No Dask, estou fazendo a mesma ...
por que o ponto é mais lento do que em numpy?
um produto de ponto no dask parece correr muito mais devagar do que no numpy: import numpy as np x_np = np.random.normal(10, 0.1, size=(1000,100)) y_np = x_np.transpose() %timeit x_np.dot(y_np) # 100 loops, best of 3: 7.17 ms per loop import ...
como paralelizar muitas comparações de strings (nebulosas) usando apply no Pandas?
Eu tenho o seguinte problema Eu tenho um quadro de dadosmestreque contém frases, como master Out[8]: original 0 this is a nice sentence 1 this is another one 2 stackoverflow is nicePara cada linha no Master, procuro outro Dataframeescravopara a ...
Como você transpõe um quadro de dados dask (converte colunas em linhas) para abordar princípios de dados organizados
TLDR: Criei um quadro de dados dask a partir de um saco dask. O quadro de dados dask trata todas as observações (eventos) como uma coluna. Portanto, em vez de ter linhas de dados para cada evento, tenho uma coluna para cada evento. O objetivo é ...
Gravando partições do Dask em um único arquivo
Novodask,Eu tenho um1GB Arquivo CSV quando o li emdask O dataframe cria cerca de 50 partições após minhas alterações no arquivo quando escrevo, cria tantos arquivos quanto partições. Existe uma maneira de gravar todas as partições em um único ...
dask dataframe como converter a coluna em to_datetime
Estou tentando converter uma coluna do meu dataframe em data e hora. Após a discussão aquihttps://github.com/dask/dask/issues/863 [https://github.com/dask/dask/issues/863]Eu tentei o seguinte código: import dask.dataframe as dd ...
Como especificar o número de threads / processos para o planejador de tarefas padrão
Existe uma maneira de limitar o número de núcleos usados pelo planejador encadeado padrão (padrão ao usar quadros de dados dask)? Comcompute, você pode especificá-lo usando: df.compute(get=dask.threaded.get, num_workers=20)Mas eu queria saber ...
Dask equivalente a Pandas substituir?
Algo que uso regularmente em pandas é a operação .replace. Estou com dificuldades para ver como é possível executar prontamente essa mesma operação em um dataframe dask? df.replace('PASS', '0', inplace=True) df.replace('FAIL', '1', inplace=True)
Como enviar tarefas de forma eficiente com grandes argumentos no Dask distribuído?
Desejo enviar funções com o Dask que tenham argumentos grandes (escala de gigabytes). Qual é a melhor maneira de fazer isso? Eu quero executar essa função várias vezes com parâmetros diferentes (pequenos). Exemplo (ruim)Isso usa a interface ...
Página 1 do 2