Можно ли распараллелить вызовы get_attribute для selenium webdriver в python?
Я запускаю этот код
from multiprocessing.Pool import ThreadPool
from selenium import webdriver
driver = webdriver.Firefox()
driver.get(url)
elements = driver.find_elements_by_class_name("class-name")
pool = ThreadPool(4)
async = [pool.apply_async(fn_which_calls_get_attribute,(element,)) for element in elements]
results = [result.get() for result in async]
который хорошо работает для некоторых результатов, но выдает ошибкуResponseNotReady для других результатов. Он работает, как и ожидалось, если я использую "pool.apply" вместо асинхронной версии.
Является ли проблемой то, что я делаю несколько вызовов драйверу селена одновременно, и ошибка в том, что он не может с этим справиться? Или что-то не так с моим распараллеливанием?