Я написал небольшой скрипт для распределения рабочей нагрузки между четырьмя потоками и проверки того, остаются ли результаты упорядоченными (по отношению к порядку ввода):

from multiprocessing import Pool
import numpy as np
import time
import random


rows = 16
columns = 1000000

vals = np.arange(rows * columns, dtype=np.int32).reshape(rows, columns)

def worker(arr):
    time.sleep(random.random())        # let the process sleep a random
    for idx in np.ndindex(arr.shape):  # amount of time to ensure that
        arr[idx] += 1                  # the processes finish at different
                                       # time steps
    return arr

# create the threadpool
with Pool(4) as p:
    # schedule one map/worker for each row in the original data
    q = p.map(worker, [row for row in vals])

for idx, row in enumerate(q):
    print("[{:0>2}]: {: >8} - {: >8}".format(idx, row[0], row[-1]))

Для меня это всегда приводит к:

[00]:        1 -  1000000
[01]:  1000001 -  2000000
[02]:  2000001 -  3000000
[03]:  3000001 -  4000000
[04]:  4000001 -  5000000
[05]:  5000001 -  6000000
[06]:  6000001 -  7000000
[07]:  7000001 -  8000000
[08]:  8000001 -  9000000
[09]:  9000001 - 10000000
[10]: 10000001 - 11000000
[11]: 11000001 - 12000000
[12]: 12000001 - 13000000
[13]: 13000001 - 14000000
[14]: 14000001 - 15000000
[15]: 15000001 - 16000000

ВопросТак что жеPool действительно сохранять порядок исходного ввода при сохранении результатов каждогоmap функция вq?

ПримечаниеЯ спрашиваю об этом, потому что мне нужен простой способ распараллелить работу над несколькими работниками. В некоторых случаях порядок не имеет значения. Тем не менее, есть некоторые случаи, когда результаты (как вq) должны быть возвращены в исходном порядке, потому что я использую дополнительную функцию сокращения, которая опирается на упорядоченные данные.

Спектакль: На моей машине эта операция примерно в 4 раза быстрее (как и ожидалось, так как у меня 4 ядра), чем обычное выполнение в одном процессе. Кроме того, все 4 ядра работают на 100% во время выполнения.