Resultados da pesquisa a pedido "joblib"
Joblib do Python3 - Inicia usando vários núcleos, cai para um único núcleo
Eu prefácio isso dizendo que sou novo no processamento paralelo. Estou trabalhando para melhorar, mas não consigo encontrar uma resposta para o meu problema, que parece ser bastante único. Estou tendo problemas com este trecho de código: from ...
Como obter o paralelismo da GPU usando o fluxo tensorial?
Estou escrevendo umrograma de correspondência de strings baseado em gpu usando distância de edição do tensorflow características. Ao conhecer a parte correspondente, extrairei os detalhes e os armazenarei em uma tabela de dados que eventualmente ...
Memorizando consultas SQL
Digamos que eu tenho uma função que executa uma consulta SQL e retorna um quadro de dados: import pandas.io.sql as psql import sqlalchemy query_string = "select a from table;" def run_my_query(my_query): # username, host, port and database ...
Como compartilhar uma variável na biblioteca Python 'joblib'
from joblib import Parallel, delayed def func(v): temp.append(v) return temp = [] Parallel(n_jobs=4)(delayed(func)(v) for v in range(10)) print tempQuero tornar a memória compartilhada variável. Mas o valor de temp está vazio []. Como eu posso ...
Por que é importante proteger o loop principal ao usar o joblib.Parallel?
Os documentos do joblib contêm o seguinte aviso: No Windows, é importante proteger o loop principal do código para evitar a geração recursiva de subprocessos ao usar o joblib.Parallel. Em outras palavras, você deve escrever um código como ...
O treinamento de modelos sklearn em paralelo com o joblib bloqueia o processo
Como sugerido emesta resposta [https://stackoverflow.com/questions/29589327/train-multiple-models-in-parallel-with-sklearn] , Tentei usar o joblib para treinar vários modelos de aprendizado de scikit em paralelo. import joblib import numpy from ...
Processamento paralelo do Dataframe Pandas grande
Estou acessando um dataframe muito grande do Pandas como uma variável global. Essa variável é acessada em paralelo viajoblib [https://pythonhosted.org/joblib/parallel.html]. Por exemplo. df = db.query("select id, a_lot_of_data from table") def ...
Escrevendo um loop paralelo
Estou tentando executar um loop paralelo em um exemplo simples. O que estou fazendo errado? from joblib import Parallel, delayed import multiprocessing def processInput(i): return i * i if __name__ == '__main__': # what are your inputs, and ...
Como podemos usar o tqdm em uma execução paralela com o joblib?
Eu quero executar uma função em paralelo e aguarde até que todos os nós paralelos sejam concluídos, usando joblib. Como no exemplo: from math import sqrt from joblib import Parallel, delayed Parallel(n_jobs=2)(delayed(sqrt)(i ** 2) for i in ...
Decoradores para armazenamento em cache seletivo / memorização
Estou procurando uma maneira de construir um decorador@memoize que eu posso usar em funções da seguinte maneira: @memoize my_function(a, b, c): # Do stuff # result may not always be the same for fixed (a,b,c) return resultEntão, se eu ...