Resultados da pesquisa a pedido "joblib"

3 a resposta

Como podemos usar o tqdm em uma execução paralela com o joblib?

Eu quero executar uma função em paralelo e aguarde até que todos os nós paralelos sejam concluídos, usando joblib. Como no exemplo: from math import sqrt from joblib import Parallel, delayed Parallel(n_jobs=2)(delayed(sqrt)(i ** 2) for i in ...

4 a resposta

Decoradores para armazenamento em cache seletivo / memorização

Estou procurando uma maneira de construir um decorador@memoize que eu posso usar em funções da seguinte maneira: @memoize my_function(a, b, c): # Do stuff # result may not always be the same for fixed (a,b,c) return resultEntão, se eu ...

1 a resposta

O treinamento de modelos sklearn em paralelo com o joblib bloqueia o processo

Como sugerido emesta resposta [https://stackoverflow.com/questions/29589327/train-multiple-models-in-parallel-with-sklearn] , Tentei usar o joblib para treinar vários modelos de aprendizado de scikit em paralelo. import joblib import numpy from ...

1 a resposta

Por que é importante proteger o loop principal ao usar o joblib.Parallel?

Os documentos do joblib contêm o seguinte aviso: No Windows, é importante proteger o loop principal do código para evitar a geração recursiva de subprocessos ao usar o joblib.Parallel. Em outras palavras, você deve escrever um código como ...

1 a resposta

Memorizando consultas SQL

Digamos que eu tenho uma função que executa uma consulta SQL e retorna um quadro de dados: import pandas.io.sql as psql import sqlalchemy query_string = "select a from table;" def run_my_query(my_query): # username, host, port and database ...

0 a resposta

Como obter o paralelismo da GPU usando o fluxo tensorial?

Estou escrevendo umrograma de correspondência de strings baseado em gpu usando distância de edição do tensorflow características. Ao conhecer a parte correspondente, extrairei os detalhes e os armazenarei em uma tabela de dados que eventualmente ...

2 a resposta

Processamento paralelo do Dataframe Pandas grande

Estou acessando um dataframe muito grande do Pandas como uma variável global. Essa variável é acessada em paralelo viajoblib [https://pythonhosted.org/joblib/parallel.html]. Por exemplo. df = db.query("select id, a_lot_of_data from table") def ...

2 a resposta

Escrevendo um loop paralelo

Estou tentando executar um loop paralelo em um exemplo simples. O que estou fazendo errado? from joblib import Parallel, delayed import multiprocessing def processInput(i): return i * i if __name__ == '__main__': # what are your inputs, and ...

0 a resposta

Joblib do Python3 - Inicia usando vários núcleos, cai para um único núcleo

Eu prefácio isso dizendo que sou novo no processamento paralelo. Estou trabalhando para melhorar, mas não consigo encontrar uma resposta para o meu problema, que parece ser bastante único. Estou tendo problemas com este trecho de código: from ...

1 a resposta

Como compartilhar uma variável na biblioteca Python 'joblib'

from joblib import Parallel, delayed def func(v): temp.append(v) return temp = [] Parallel(n_jobs=4)(delayed(func)(v) for v in range(10)) print tempQuero tornar a memória compartilhada variável. Mas o valor de temp está vazio []. Como eu posso ...