многопроцессорная обработка на Python: некоторые функции не возвращаются после завершения (материал очереди слишком большой)

Я использую многопроцессорную обработку и очередь. Я запускаю несколько функций параллельно, и большинство из них ведут себя хорошо: они заканчивают работу, их выходные данные отправляются в очередь и отображаются как .is_alive () == False. Но по некоторым причинам пара функций не ведет себя. Они всегда показывают .is_alive () == True, даже после того, как завершена последняя строка в функции (оператор печати с надписью «Закончено»). Это происходит независимо от набора функций, которые я запускаю, даже если он только один. Если не работать параллельно, функции работают нормально и возвращаются нормально. Какиеkind может быть проблема?

Вот общая функция, которую я использую для управления заданиями. Все, что я не показываю, это функции, которые я ему передаю. Они долго, часто используют matplotlib, иногда запускают некоторые команды оболочки, но я не могу понять, что общего у сбойных команд.

def  runFunctionsInParallel(listOf_FuncAndArgLists):
    """
    Take a list of lists like [function, arg1, arg2, ...]. Run those functions in parallel, wait for them all to finish, and return the list of their return values, in order.   
    """
    from multiprocessing import Process, Queue

    def storeOutputFFF(fff,theArgs,que): #add a argument to function for assigning a queue
        print 'MULTIPROCESSING: Launching %s in parallel '%fff.func_name
        que.put(fff(*theArgs)) #we're putting return value into queue
        print 'MULTIPROCESSING: Finished %s in parallel! '%fff.func_name
        # We get this far even for "bad" functions
        return

    queues=[Queue() for fff in listOf_FuncAndArgLists] #create a queue object for each function
    jobs = [Process(target=storeOutputFFF,args=[funcArgs[0],funcArgs[1:],queues[iii]]) for iii,funcArgs in enumerate(listOf_FuncAndArgLists)]
    for job in jobs: job.start() # Launch them all
    import time
    from math import sqrt
    n=1
    while any([jj.is_alive() for jj in jobs]): # debugging section shows progress updates
        n+=1
        time.sleep(5+sqrt(n)) # Wait a while before next update. Slow down updates for really long runs.
        print('\n---------------------------------------------------\n'+ '\t'.join(['alive?','Job','exitcode','Func',])+ '\n---------------------------------------------------')
        print('\n'.join(['%s:\t%s:\t%s:\t%s'%(job.is_alive()*'Yes',job.name,job.exitcode,listOf_FuncAndArgLists[ii][0].func_name) for ii,job in enumerate(jobs)]))
        print('---------------------------------------------------\n')
    # I never get to the following line when one of the "bad" functions is running.
    for job in jobs: job.join() # Wait for them all to finish... Hm, Is this needed to get at the Queues?
    # And now, collect all the outputs:
    return([queue.get() for queue in queues])

Ответы на вопрос(1)

Ваш ответ на вопрос