Многопроцессорная обработка Python и общий счетчик
У меня возникли проблемы с многопроцессорным модулем. Я'Я использую пул рабочих с его методом map для загрузки данных из большого количества файлов, и для каждого из них я анализирую данные с помощью пользовательской функции. Каждый раз, когда файл обрабатывается, я хочу обновить счетчик, чтобы отслеживать, сколько файлов осталось обработать. Вот пример кода:
def analyze_data( args ):
# do something
counter += 1
print counter
if __name__ == '__main__':
list_of_files = os.listdir(some_directory)
global counter
counter = 0
p = Pool()
p.map(analyze_data, list_of_files)
Я могу'не могу найти решение для этого.