Многопроцессорная обработка Python и общий счетчик
У меня проблемы с многопроцессорным модулем. Я использую пул рабочих с его методом map для загрузки данных из большого количества файлов, и для каждого из них я анализирую данные с помощью специальной функции. Каждый раз, когда файл обрабатывается, я хочу обновить счетчик, чтобы отслеживать, сколько файлов осталось обработать. Вот пример кода:
def analyze_data( args ):
# do something
counter += 1
print counter
if __name__ == '__main__':
list_of_files = os.listdir(some_directory)
global counter
counter = 0
p = Pool()
p.map(analyze_data, list_of_files)
Я не могу найти решение для этого.