Ошибка cPickle при использовании pathos.multiprocessing?
Я пытаюсь использовать многопроцессорность для ускорения чтения панд. Однако, когда я использую многопроцессорность, я получаю ошибкуcPickle.PicklingError: Can't pickle: поиск атрибута __builtin __. функция завершилась неудачно
когда я пытаюсь запустить следующее: импорт укропа из pathos.multiprocessing импорт ProcessPool
class A(object):
def __init__(self):
self.files = glob.glob(\*)
def read_file(self, filename):
return pd.read_excel(filename)
def file_data(self):
pool = ProcessPool(9)
file_list = [filename for filename in self.files]
df_list = pool.map(A().read_file, file_list)
combined_df = pd.concat(df_list, ignore_index=True)
Разве pathos.multiprocessing не предназначен для решения этой проблемы? Я что-то пропускаю здесь?
Редактировать: полный код ошибки
File "c:\users\zky3sse\appdata\local\continuum\anaconda2\lib\site-packages\pathos-0.2.0-py2.7.egg\
pathos\multiprocessing.py", line 136, in map
return _pool.map(star(f), zip(*args)) # chunksize
File "C:\Users\ZKY3SSE\AppData\Local\Continuum\Anaconda2\lib\multiprocessing\pool.py", line 251, in map
return self.map_async(func, iterable, chunksize).get()
File "C:\Users\ZKY3SSE\AppData\Local\Continuum\Anaconda2\lib\multiprocessing\pool.py", line 567, in get
raise self._value