многопроцессорная обработка на Python: некоторые функции не возвращаются после завершения (материал очереди слишком большой)
Я использую многопроцессорную обработку и очередь. Я запускаю несколько функций параллельно, и большинство из них ведут себя хорошо: они заканчивают работу, их выходные данные отправляются в очередь и отображаются как .is_alive () == False. Но по некоторым причинам пара функций не ведет себя. Они всегда показывают .is_alive () == True, даже после того, как завершена последняя строка в функции (оператор печати с надписью «Закончено»). Это происходит независимо от набора функций, которые я запускаю, даже если он только один. Если не работать параллельно, функции работают нормально и возвращаются нормально. Какиеkind может быть проблема?
Вот общая функция, которую я использую для управления заданиями. Все, что я не показываю, это функции, которые я ему передаю. Они долго, часто используют matplotlib, иногда запускают некоторые команды оболочки, но я не могу понять, что общего у сбойных команд.
def runFunctionsInParallel(listOf_FuncAndArgLists):
"""
Take a list of lists like [function, arg1, arg2, ...]. Run those functions in parallel, wait for them all to finish, and return the list of their return values, in order.
"""
from multiprocessing import Process, Queue
def storeOutputFFF(fff,theArgs,que): #add a argument to function for assigning a queue
print 'MULTIPROCESSING: Launching %s in parallel '%fff.func_name
que.put(fff(*theArgs)) #we're putting return value into queue
print 'MULTIPROCESSING: Finished %s in parallel! '%fff.func_name
# We get this far even for "bad" functions
return
queues=[Queue() for fff in listOf_FuncAndArgLists] #create a queue object for each function
jobs = [Process(target=storeOutputFFF,args=[funcArgs[0],funcArgs[1:],queues[iii]]) for iii,funcArgs in enumerate(listOf_FuncAndArgLists)]
for job in jobs: job.start() # Launch them all
import time
from math import sqrt
n=1
while any([jj.is_alive() for jj in jobs]): # debugging section shows progress updates
n+=1
time.sleep(5+sqrt(n)) # Wait a while before next update. Slow down updates for really long runs.
print('\n---------------------------------------------------\n'+ '\t'.join(['alive?','Job','exitcode','Func',])+ '\n---------------------------------------------------')
print('\n'.join(['%s:\t%s:\t%s:\t%s'%(job.is_alive()*'Yes',job.name,job.exitcode,listOf_FuncAndArgLists[ii][0].func_name) for ii,job in enumerate(jobs)]))
print('---------------------------------------------------\n')
# I never get to the following line when one of the "bad" functions is running.
for job in jobs: job.join() # Wait for them all to finish... Hm, Is this needed to get at the Queues?
# And now, collect all the outputs:
return([queue.get() for queue in queues])